A kastély helyén írásos emlékeink szerint már 1800-ban is állt egy fazsindelyes épület kőből és téglából. Nádasdy Tamás 1820 körül építtette át, feltehetőleg a régi épületre húzták rá a mai klasszicista kastélyt.

A Nádasdy család után a Festeticsek tulajdona lett az épület, majd 1858-ban Batthyány Lajosné vásárolta meg a birtokot. A miniszterelnök özvegye ekkor emlékszobát rendezett be kivégzett férje tárgyaival, ruháival. Később a gyűjtemény egy része a Nemzeti Múzeumhoz került.

Későbbi tulajdonosa, Batthyány Ilona végrendeletében meghagyta, hogy a kastélyban árva leánygyerekek otthonát alakítsák ki. Bár a család megpróbálta visszaszerezni a kastélyt, az végül Veszprém megye tulajdonába került, és 1949-ben megnyílt a ma is működő szociális otthon. A Batthyány-emlékszobában ma dokumentumokon és fényképeken keresztül ismerhetjük meg a miniszterelnök és családja életét.