Das Gutshaus Berne, heute bekannt als Berner Schloss, wechselte im Laufe der Jahrhunderte mehrfach den Besitzer. 1806 erwarb der Hamburger Bürger Peter F. Hertel den Hof, 1844 ging er an die Familie von Johann Heinrich Schröder über. Unter dessen Sohn Carl Heinrich („Charles“) von Schröder wurde das Gut grundlegend ausgebaut. Zwischen 1890 und 1893 erhielt das Herrenhaus im klassizistischen Stil seine repräsentative Gestalt, zudem entstanden ein Park, Stallungen, Scheunen, ein Gästehaus und sogar ein eigenes Elektrizitätswerk. Das Anwesen galt als vorbildliches Mustergut.

Nach 1907 folgten erneute Eigentümerwechsel. 1919 wurde das Gut geteilt: Das Herrenhaus mit den südlich gelegenen Flächen übernahm Cornelius De Boer. Er ließ das Innere umbauen und richtete auf dem Dach eine kleine Sternwarte ein. Nach der Insolvenz De Boers gelangte das Gut Anfang der 1930er-Jahre an die Stadt Hamburg.

In den folgenden Jahrzehnten diente das Schloss sehr unterschiedlichen Zwecken: von 1934 bis 1945 als SS-Motorradschule, danach als Lazarett, Erholungsheim, Jugendwohnheim, Männerwohnheim und später als Kindertagesheim. Durch mangelnde Instandhaltung verfiel die Bausubstanz zunehmend. Engagierte Bürger setzten sich ab 1990 für den Erhalt des Gebäudes ein. Nach einem erfolgreichen Bürgerbegehren wurde das Berner Schloss schließlich von der Wohnungsgenossenschaft Gartenstadt Hamburg übernommen, die heute ihre Büros im oberen Teil des Schlosses hat. Die Räumlichkeiten im Erdgeschoss werden als Veranstaltungsräume genutzt.