Balle blev født i Vestenskov ved Nakskov. Faderen, Søren Pedersen Balle, var degn; han var en hæderlig og velstuderet mand. Moderen, Margrete Dorothea, født Mundt, var datter af en sekterisk sværmer, Christian Mundt,der ligeledes havde været degn i Vestenskov, men var blevet dømt fra embedet og døde i elendighed. Hun var tungsindig og tog sig selv af dage 1762. Efter hende, plejede sønnen at sige, har jeg arvet den godmodighed, man kærligt tillægger mig, men tillige det stærke hang til melankoli, jeg daglig må kæmpe med.