Vom 17. bis zur Mitte des 19. Jahrhunderts diente das markante Haus der Bäckerei Jakob schräg gegenüber vom Rathaus dem Ort Feldafing als Metzgerei und Wirtshaus, später auch als Bäckerei. Den gehobenen Ansprüchen der städtischen Ausflügler und Sommerfrischler konnte diese frugale Taverne, die Lorenzo Quaglio noch 1854 gezeichnet hat, jedoch nicht entsprechen.
Der als Villenbewohner mit Feldafing eng verbundene Unternehmer und Begründer der modernen bayerischen Eisenindustrie Joseph Anton von Maffei (1790-1870) errichtete daher bereits 1854 eine neue Gastwirtschaft mit Metzgerei, die er allerdings bereits 1856 mit dem Ehepaar Hierl gegen ein Stadthaus in München tauschte. 1871-74 vergrößerte der Baumeister Johann Biersack das von ihm erworbene Gebäude im "Schweizer Stil", verpachtete und verkaufte es schließlich 1875 an den Hotelier Max Strauch, der weitere Vergrößerungen durchführen und schließlich auch ein zweites Gebäude an der Straße, die sog. "Dépendance", als Bedienstetenhaus errichten ließ.
1896 wurde das Hotel von Max Zwickl erworben, der beim österreichischen Hofmarschallamt die Erlaubnis erwirkte, es in "Hotel Kaiserin Elisabeth" umbenennen zu dürfen. Die österreichische Kaiserin hatte mit großem Gefolge hier nämlich über 25 Jahre lang ihren sommerlichen Aufenthalt genommen, um den Familiensitzen in Possenhofen und Garatshausen nahe zu sein. Ihr folgte die große und mondäne Welt in der Glanzzeit des Hotels. Die ehemalige "Schwemme" ließ Zwickls Tochter zum rustikalen Nebenlokal umgestalten. Nach Zwickls Tod 1903 führte seine Witwe den Betrieb noch 2 Jahre und verkauft dann an Georg Kraft, der 1925 die Terrasse vergrößerte und das Haus hoteltechnisch erstklassig ausstattete. 1933 ließ er an den Speisesaal einen Bankettsaal anbauen und eine Kellerbar einrichten. 1926 transferierte man zur Erinnerung an den vornehmsten Gast, die Kaiserin Elisabeth, ein Marmordenkmal von Karl Wilfert d. J. (das er 1905 für Franzensbad geschaffen hatte) in den prachtvollen, wohl um 1876 angelegten Hotelpark. Im selben Jahr erhielt dieser Park seine elektrische Beleuchtung.
"Von der ursprünglichen Ausstattung ist leider viel verloren gegangen. Außer einigen Details in den Empfangsräumen sind noch der große, mit roten Stuckmarmorsäulen ausgestattete Speisesaal und die überdachte Veranda mit ihrer einst gerühmten Sicht über den Lenné-Park, den See und das Alpenpanorama erhalten. In der Außenerscheinung wurde der Bau stark vereinfacht. So haben die Beseitigung der zwei Giebelrisalite an der Südseite bzw. der zwei seitlichen Zwerchgiebel an der Ostseite sowie die Vereinfachung der Balkone dem Bau einiges von seinem einstigen Charme genommen. In alter Form ist noch die rückwärtige Kutschenremise erhalten. Sie hat ihre wertvollsten dekorativen Details bewahrt und enthält einen kleinen, mit Kustermann-Gußeisenelementen ausgestatteten Pferdestall." (Schober 1989, 119 f.). Heute strahlt das in Familientradition geführte Haus eine Art von liebenswerten historischen Charme aus, der den Besucher in die Zeit und Atmosphäre von Thomas Manns Roman "Der Zauberberg" versetzt. Einige Kapitel dieses Romans sind denn auch ganz in unmittelbarer Nähe, in einem von dem Autor als "Villino" bezeichneten Haus in Feldafing entstanden.