Der Sohn des letzten privaten Besitzers des "Hinteren Gugger",  der Zolliker Major Hans Heinrich Ernst (1842–1923), vermachte das Gut der Gemeinde Zollikon mit der Auflage, den Hinteren Gugger zu einem Alters- oder Erholungsheim auszubauen, was nach dem Tod des Majors 1923 auch geschah. 1969 wurde das Altersheim abgebrochen, die Gebäude waren nicht mehr zeitgemäss. An seiner Stelle baute die Gemeinde das Wohn- und Pflegezentrum "Am See". Das in zwei Etappen erstellte Altersheim am See wurde eingeweiht.

Nach der Einweihung des neuen Wohn- und Pflegezentrums Blumenrain im April 2016 wurde das Altersheim am See aufgehoben. Was mit dem Gebäude geschehen soll, ist seit längerem Gegenstand von Abklärungen. Gegenwärtig (2021) dient es als Unterkunft für Studenten.