Al Jarreau pochádza z lousianskej rodiny, jeho otec bol kazateľom a matka hrávala v kostole na organe a klavíri. Jeho hudobná budúcnosť sa začala profilovať v San Franciscu, kde účinkoval v malom džezovom klube s triom vedeným Georgeom Dukeom.
Na konci 60. rokov sa presťahoval do Los Angeles, kde začal účinkovať v známych kluboch. Krátko nato rozšíril svoje pôsobenie aj na New York, kde dostal možnosť účinkovať v televízii po boku mien ako Johnny Carson, Mery Griffin či Mike Douglas. V roku 1975 debutoval albumom We Got By, ktorým si získal srdcia fanúšikov nielen v Spojených štátoch amerických, ale aj v Európe. Získal nemeckú obdobu Grammy za najlepší výkon v medzinárodnej nováčikovskej kategórii.
Naplno sa však presadil až po turné v Európe, ktoré nasledovalo po vydaní druhého albumu Glow (1976). Prelom v jeho kariére nastal v roku 1977, keď vydavateľstvo Warner Bros. vydalo živý dvojalbum Look to the Rainbow. O rok neskôr dostal spevák prvú Grammy za najlepší sólový džezový vokálny výkon. Zaujímavosťou je fakt, že zlatý gramofónik získal nielen v džezových, ale aj v r'n'b kategóriách a Grammy má i za najlepší sólový popový vokálny výkon. Na jeho albumoch sa producentsky podieľali také osobnosti ako Herbie Hancock, George Duke či Marcus Miller. Okrem toho, že Al Jarreau neustále cestuje po svete a koncertuje, momentálne sa venuje aj nahrávaniu novému albumu.
Rodák z Wisconsinu sa v slovenskej metropole naposledy predviedol v jeseni 2008 na Bratislavských jazzových dňoch. V júli 2010 mal vystúpiť na treťom ročníku Open Jazz Festu, ktorý sa konal na Zelenej vode pri Novom Meste nad Váhom, no pre problémy s dýchaním a následnú hospitalizáciu museli organizátori jeho koncert zrušiť.
