Bereits zwei Jahre nachdem Garding 1590 die Stadtrechte erhielt, wurde eine Lateinschule oder auch Rektorschule gegründet. Die Schule nach Maßgaben der Kirchenordnung wurde privat finanziert. Bis 1825 lernten Jungen und Mädchen zusammen hier drei Fremdsprachen und die Wissenschaften. Erst danach wurde der Unterricht bis in das 20. Jh. hinein getrennt.

Das Schulhaus stand bis 1985 leer und wurde dann durch den heutigen Neubau ersetzt, der weitgehend dem Vorgängerbau entspricht. In der Fischerstraße, die namentlich auf ihre früheren Bewohner verweist, gibt es weitere sehr alte Häuser.