Q-tip en Phife waren samen opgegroeid in Queens en ontmoetten Muhammed op highschool. De naam van de groep werd in 1988 bedacht door The Jungle Brothers, een rapgroep waarvan de leden op dezelfde school hadden gezeten. Niet lang daarna begon de groep live op te treden, ook begonnen ze met opnames bij een plaatselijke platenlabel. De groep werd onderdeel van the native tongue-familie, een hiphop-artiesten-verzameling bekend om de sociaal-bewuste en positieve boodschappen die ze in hun muziek verwerkten. In deze familie bevonden zich ook onder andere De La Soul, Leaders of the New School, Monie Love en Black Sheep.