Lavallee urodził się w Montrealu. W świat muzyki wprowadził go ojciec, który był wytwórcą instrumentów muzycznych. Już jako dziecko nauczył się grać na pianinie, skrzypcach, organach i trąbce. W 1855 rozpoczął studia na konserwatorium muzycznym w Montrealu w klasie fortepianu. Od 1857 rozpoczął karierę muzyka koncertowego, dając występy w Kanadzie, USA i Południowej Afryce. W 1861 zaciągnął się da armii Unii i wziął udział w wojnie secesyjnej. Zdemobilizowany w 1863 powrócił do Kanady, gdzie intensywnie koncertował prowadząc jednocześnie działalność pedagogiczną. W latach 1865-1866 przebywał w Kalifornii. W 1866 ożenił się z mieszkanką Nowej Anglii i osiadł w Massachusetts. W latach 1870-1872 był dyrektorem Grand Opera House w Nowym Jorku. Po wygaśnięciu kontraktu powrócił do Kanady, gdzie w Montrealu otworzył znaną szkołę muzyczną, zajmując się także organizacją lokalnego życia muzycznego. W początku lat osiemdziesiątych XIX wieku ponownie przeniósł się do Bostonu, gdzie pozostał aż do śmierci.