Urodził się w ubogiej rodzinie chasydzkich Żydów. Był najstarszym z dziewięciorga dzieci. Wstępne lekcje malarstwa pobierał u miejscowego nauczyciela Jehudy Pena. W wieku 19 lat wyjechał do Petersburga, gdzie rozpoczął naukę w Szkole Carskiego Towarzystwa Upowszechniania Sztuki, a następnie w prywatnej szkole Jelizawiety Zwancewej. Latem 1908 r. stworzył swoje pierwsze znaczące dzieło, Śmierć, w którym zaznaczyły się pewne wpływy Gauguina.
W 1910 r. Chagall otrzymał stypendium umożliwiające mu wyjazd do Paryża. Za sprawą Apollinaire'a wiosną 1914 roku miał pierwszą wystawę indywidualną w sławnej berlińskiej galerii "Der Sturm". W tym samym roku wrócił do Imperium Rosyjskiego, gdzie przebywał do 1922 r. Podczas rewolucji został komisarzem sztuk pięknych w obwodzie witebskim. Założył Akademię Sztuk Pięknych w Witebsku. W 1915 r. poślubił Bellę Rosenfeld z którą miał córkę Idę. W 1922 wyjechał z Rosji, zatrzymując się na krótko w Berlinie.