W 1943 roku ukończył szkołę w Gießen. Po tym, zaciągnął się do armii, gdzie przez dwa lata odbywał służbę wojskową. Od 1946 do 1948 roku studiował prawo w Marburgu oraz Monachium.

Sprawował funkcję burmistrza Monachium od 1960 do 1972. Po wyborach parlamentranych w Niemczech w 1972 roku, został federalnym ministrem planowania budownictwa oraz rozwoju. Od 1974 do 1981 roku był ministrem sprawiedliwości. W styczniu 1981 został burmistrzem Berlina, jednak przegrał wybory w czerwcu na rzecz Richarda von Weizsäckera. Był kandydatem na kanclerza Niemiec z ramienia partii SPD w 1983. Pełnił również funkcję przewodniczącego klubu parlamentranego SPD w Bundestagu od 1983 do 1991. W 1987 roku, zastąpił Willego Brandta na stanowisku przewodniczącego Socjaldemokratycznej Partii Niemiec (SPD). W 1991 ustąpił ze stanowiska.