In der Schlossstraße steht gegenüber der neuen Stadthalle in einer kleinen Grünanlage das älteste Profangebäude der Stadt. An gleicher Stelle hat bereits 1338 ein Steinhaus gestanden. Dabei handelte es sich um das Trimbergsche Hofgut. 1362 erhielt Sanne, die Witwe Hermanns von Schlüchtern, diesen klösterlichen Vogthof von Konrad von Trimberg zu Lehen. Um 1440 kam es in den Besitz des Hans von Lautern. Dieser ließ seinen Lehensitz umbauen und erweitern.
1902 wurde es Eigentum der Stadt Schlüchtern. Bauliche Veränderungen wurden notwendig zwecks Nutzung des Obergeschosses als Dienstwohnung des Bürgermeisters. Das Erdgeschoss nahm die Weitzelbibliothek auf. Mit dem Ende des Zweiten Weltkrieges besetzte die amerikanische Besatzungsmacht das Schlösschen. 1947/48 diente es als Sitz der Spruchkammer zur Entnazifizierung ehemaliger Parteigenossen. Auch befand sich bis 1951 darin das Geschäftszimmer der Europäischen Akademie. Die Bibliothek des Amerika-Hauses war gleichfalls im Schlösschen untergebracht. 1970/71 umgebaut, ist seit dieser Zeit das "Bergwinkelmuseum" als Heimatmuseum der Stadt Schlüchtern untergebracht.
Über zweihundert Jahre adliges Herrenhaus, erinnert noch heute ein gotisches und ein Barockwappen an das Lautersche Geschlecht. Die Inschrift des Barockwappens lautet: "Im Jahre 1675 habe ich, Hans Ernst von Lauter, hochfürstlich bambergischer Rat, Oberschultheiß, auch Amtmann zu Höchstadt und Wachenroth, der ich mit meinen ehelichen Leibserben von der alten Lauterschen Linie noch am Leben, dies Schloß, so im Kriege beschädigt wurde, meinen Kindern in Hessen wieder aufbauen lassen." 1688 wurde das Schlösschen an die von Dehn-Rothfelser verkauft. Weitere Besitzer waren 1798 der Salzverwalter W. Stickel, bei dem die Brüder Grimm des öfteren zu Gast waren, und 1819 Dr. Moritz Zinkhan. Letzterer hatte es zum Preis von 4500 Gulden erworben.
Das Bergwinkelmuseum ist bis auf Weiteres wegen Umbaumaßnahmen geschlossen.