Die Tat wird Kempowskis weiteren Lebensweg entscheidend beeinflussen: Als er im März 1948 noch einmal kurzzeitig nach Rostock zurückkehrt, um mit Mutter und Bruder die endgültige Flucht in den Westen zu planen, wird er verhaftet. Ein Sowjetisches Militärtribunal (SMT) verurteilt ihn zu 25 Jahren Arbeitslager. Als vermeintliche Mittäter werden auch Margarethe und Robert Kempowski verhaftet, die ebenfalls langjährige Haftstrafen abbüßen müssen. Bis ins hohe Alter wird Walter Kempowski von dem Selbstvorwurf gequält, durch sein leichtfertiges Handeln Mutter und Bruder ins Unglück gerissen zu haben. Die kritische Auseinandersetzung mit der eigenen Familiengeschichte und die Rekonstruktion der untergegangenen bürgerlichen Welt werden später zum zentralen Antrieb seiner schriftstellerischen Tätigkeit.
Die nächsten acht Jahre verbringt Walter Kempowski im Zuchthaus Bautzen, dem berüchtigten „Gelben Elend“. Die Haftzeit markiert eine neuerliche und entscheidende Wende in seiner Biografie. In Interviews wird Kempowski Bautzen später als „seine Universität“ bezeichnen. Die Lethargie der vorangegangenen Jahre fällt dort von ihm ab, im Kreis seiner Mitgefangenen, die aus allen sozialen Schichten stammen, lernt Kempowski, seine bürgerliche Herkunft und die damit verbundenen Bildungsideale als Chance zu verstehen. Eine Möglichkeit, den Schikanen der Bewacher und der Tristesse des Gefängnisalltags zu entfliehen, ist nämlich die kulturelle Betätigung: In ihrer Freizeit veranstalten einige Häftlinge Theatervorstellungen und Rezitationsabende, andere organisieren einen Männerchor, zu dessen Leiter Kempowski später avanciert. Ein wichtiger Charakterzug Kempowskis wird während seiner Bautzener Haftzeit geprägt: Das Interesse an den Lebensläufen seiner Zeitgenossen.