Był synem pastora – piątym spośród szóstki dzieci. Cała rodzina Ala Jarreau interesowała się muzyką, ale do rozpoczęcia muzycznych improwizacji zachęcił Ala jego brat. Al chciał zostać, jak jego ojciec, pastorem. Jako dziecko był bardzo religijny. Gdy szedł do college'u wielu myślało, że zostanie sportowcem (koszykarzem lub baseballistą). Tak się jednak nie stało.