Das Gebäude wurde 1868-69 für 3.350 Taler von Maurermeister Johann Steeneck und Zimmermeister Heinrich Volger erbaut. Am 12. April 1869 wurde die private Rektorschule eingeweiht, Unterrichtsbeginn war am 14. April. Schulleiter cand. theol. Ludwig Viets und die Lehrkräfte Pastor Visbeck, Heinrich Wittrock, Julie Westphal, August Reimbrecht sowie Schneider Nitsche (Turnen) unterrichteten zu Beginn 72 Schüler, das Schulgeld betrug in der obersten Klasse 15 Rth. jährlich. 1914 fassten die Gemeinden Osterholz und Scharmbeck den Entschluss, die viel zu kleine Mittelschule um ein zweites Gebäude zu erweitern. (Quelle: R. Menkhoff: Chronik von Osterholz-Scharmbeck Band I, 2004)
1942 beschloss der Stadtrat die Umwandlung der „Mittelschule“ zur „Hauptschule“, die damit in staatliche Verwaltung überging. Nach dem Krieg wurde die Schule zunächst für Flüchtlinge und Besatzungstruppen genutzt, am 4.1.1946 wurde die Mittelschule dann wieder eröffnet. 1959 zog die ehemalige Hilfsschule aus der Langen Straße als Sonderschule in das von der Mittelschule geräumte Gebäude. 1960 startete auch das neu gegründete Gymnasium zunächst in diesem Gebäude. 1962 musste die Sonderschule wieder an ihren alten Standort („Neue Schule“ in der Langen Straße) zurückkehren, da das Gymnasium mit dem neuen zweizügigen Jahrgang zuviel Raum in Anspruch nahm. Nach Auszug des Gymnasiums in den Neubau an der Loger Straße konnte die Sonderschule 1966 mit 6 Klassen, 102 Schülerinnen und Schülern sowie 5 Lehrkräften wieder einziehen. Sie beantragte den Namen „Pestalozzischule“. (Quelle: Chronik von Osterholz-Scharmbeck Bd. II, R. Meenkhoff, 2009)
Im Juni 2012 beschloss der Landkreis als Eigentümer, die Immobilie mit dem 750 qm großen Grundstück für 125.000 Euro an die Lebenshilfe zu verkaufen, sobald es nicht mehr vom Kreismedienzentrum benötigt werde. Die Lebenshilfe will Turnhalle und Sanitärtrakt der ehemaligen Pestalozzischule abreißen und das ehemalige Schulgebäude u. a. als Stadtteilbüro für den Geschäftsbereich „Wohnen“ nutzen. (Quelle: Osterholzer Kreisblatt 15.6.2012)