Fischer was de oudste uit een katholiek gezin van vijf kinderen. Hij voelde zich van jongsafaan erg aangetrokken tot de rooms-katholieke kerk en wilde aanvankelijk in navolging van een broer en een zus van zijn moeder het klooster in. Hij hield volgens eigen zeggen van de eenzaamheid. Op de middelbare school liet hij echter zijn wens om het klooster in te gaan varen en ging in dienst. Na voltooiing van een diensttijd van negen maanden vond hij werk op een belastingkantoor, wat hem echter niet beviel. Hij besloot daarop naar de politieschool te gaan. In 1922/23 werd hij aangesteld bij de Kriminalpolizei in Bochum en in 1937 bij de Gestapo te Düsseldorf.