Studiował w konserwatoriach Parmy i Mediolanu grę na wiolonczeli. Karierę rozpoczynał w Brazylii jako wiolonczelista w zespole wędrownej opery. Zadebiutował jako dyrygent 26 czerwca 1886 roku w Rio de Janeiro, gdy zespół odmówił występu pod kierownictwem dotychczasowego dyrygenta; młody Toscanini poprowadził wtedy z pamięci Aidę, co spotkało się dużym uznaniem publiczności. 26 grudnia 1898 wystąpił po raz pierwszy na deskach La Scali, gdzie pracował przez kilka lat. Kierownictwo muzyczne La Scali Toscanini obejmował w latach 1898-1907 i 1920-1929. Największymi jego osiągnięciami były przedstawienia Falstaffa Verdiego i Turandot Pucciniego (przerwany w miejscu, w którym urywa się rękopis). Był propagatorem muzyki ówcześnie współczesnej, wiele słynnych później dzieł było wykonanych we Włoszech pod jego dyrekcją po raz pierwszy, m.in. Morze Debussy'ego czy Pietruszka Strawińskiego.