Het complex is gebouwd in 1897 in opdracht van de congregatie van de Kleine Zusters van de Heilige Joseph. Naar ontwerp van A. van Beers uit Rotterdam is het gebouwd onder de naam 'Sanatorium St. Joseph Heilbron'. Ze lieten het bouwen als uitbreiding van hun toenmalige moederhuis Huize Savelberg. In eerste instantie diende het als sanatorium voor mensen met longziekten. Vanaf 1975 is het complex de huisvesting van een klooster, een somatisch verpleeghuis en een verzorgingstehuis onder de naam 'Huize De Berg'.