Das sog. "Schwandersche Haus" wurde 1812 durch den Gastwirt Thomas Anton Herth (1759-1834) als Poststation der Großherzoglich Badischen Post in Buchen, Amtsstraße 1, erbaut. Thomas Anton Herth war in dritter Generation Wirt der "Goldenen Kanne" (später umbenannt in "Prinz Carl"). Im Jahr 1829 wurde das Gebäude von Vinzenz Kieser (1804-1871) erworben, um 1890 an Heinrich Schwander weiterverkauft. Seit diesem Besitzerwechsel wurde das Gebäude als "Schwandersches Haus" bezeichnet. Heinrich Schwander eröffnete in dem Gebäude ein Kolonialwarengeschäft.