A nagy múltú épületben található az ország legrégebb óta működő szállodája. Eredetileg Szarka fogadónak hívták az 1740-es években épült, akkor még földszintes házban található szálláshelyet. Mivel az Esterházyak kastélya csak 1777-ben épült fel, vendégeiket előtte itt szállásolták el. Az épületet emiatt 1766-1769 között Fellner Jakab tervei alapján átalakították és ráépítettek egy emeletet.

1803-ban Kazinczy Ferenc lovasbalesetet szenvedett, és a Szarka fogadóban gyógyult nyolc napig.

Az épület történelmi jelentősége, hogy az 1848-49-es forradalom idején, május 2-án és 3-án a fogadóban volt Görgey Artúr főhadiszállása.

1883-ban a vasútépítés miatt bővítették a szálló és éttermét, 1891-ben pedig egy tulajdonosváltás után Esterházy-szálloda néven működött tovább. Ekkoriban nyerte el mai eklektikus formáját. 1912-ben a szálló nagytermében a tatai és tóvárosi Nemzeti Munkáspárt tartotta újjáalakuló nagygyűlését. 

A XX. század első felében élte a szálloda a fénykorát, a 30-as években színműveket és operetteket is mutattak be az épületben. A II. világháború után többször átalakították, felújították, és átnevezték Kristály szállóvá.

Falai közt olyan hírességek is megfordultak, mint Teleki Blanka, Blaha Lujza, Jókai Mór, Kisfaludy Károly, Vörösmarty Mihály, Perczel Mór, Feszty Árpád, Ferencz Ferdinánd főherceg, Heltai Jenő, Jávor Pál, Csortos Gyula, Dajka Margit, Kabos Gyula vagy Habsburg Ottó.