Haldeman urodził się w Oklahoma City w stanie Oklahoma. Jego rodzina dużo podróżowała, jako dziecko mieszkał on więc w Portoryko, Nowym Orleanie, Waszyngtonie, Bethesdzie, Maryland i Anchorage na Alasce. W roku 1965 ożenił się z Mary Gay Potter. W roku 1967 ukończył astronomię na University of Maryland ze stopniem bakałarza. W tym samym roku został wcielony do armii i służył w Wietnamie jako inżynier wojskowy. Odniósł rany podczas walk i jego doświadczenia wojenne były inspiracją dla jego pierwszej powieści, War Year, a także jego kolejnych utworów. Obecnie mieszka w Gainesville na Florydzie i w Cambridge w stanie Massachusetts i wykłada na MIT.