Rott nacque a Braunhirschengrund, un sobborgo di Vienna, dalla relazione tra la diciottenne Maria Rosalia Lutz (1840-1872) e il cinquantunenne Carl Mathias Rott (1807-1876). Il padre - il cui vero cognome era Roth - a causa di un precedente matrimonio che si concluse solo nel 1862 con la morte della moglie, non poté riconoscere il figlio sino al 1863, anno in cui sposò Maria Rosalia Lutz. Entrambi i genitori praticavano attività artistiche: in particolare, il padre era un attore comico abbastanza famoso nella Vienna del tempo, mentre la madre, oltre che attrice, era anche una cantante sufficientemente conosciuta. Il giovane Rott rimase orfano piuttosto presto: nel 1872 perdeva la madre, mentre il padre - rimasto zoppo in seguito a un incidente di scena - moriva quattro anni dopo (1876). Poiché almeno sino alla metà degli anni settanta la situazione economica familiare era piuttosto soddisfacente, non vi furono motivi per ostacolare i precoci orientamenti musicali dell'adolescente Rott. Durante il corso invernale del 1874-1875 poté dunque iscriversi al "Konservatorium der Gesellschaft der Musikfreunde" (Conservatorio della Società degli Amici della Musica) di Vienna, dove fu esentato per tutto l'anno dal pagamento della retta ed ottenne in seguito una borsa di studio. Qui ebbe modo di frequentare il corso di composizione di Franz Krenn, quello di pianoforte con Leopold Landskron e quello di armonia di Hermann Grädener; di particolare importanza per la formazione del giovane musicista fu poi lo studio dell'organo con Anton Bruckner, che mostrò una particolare stima per il giovane Rott, tanto da rilasciargli un certificato di encomio.