A várkastélyt az egykori, XIV–XV. századi vár helyére, annak maradványai felhasználásával a Zichyek építtették az 1690-es években, majd később a XVIII. században kastéllyá alakíttatták. A puritán külsejű, kora barokk stílusú épület a főhomlokzati oldalán két saroktorony áll.

1904-től birtokolják a Szent Keresztről Nevezett Irgalmas Nővérek, akik Cziráky Antal anyagi támogatásával felújíttatták és átépíttették a XX. század elején. Feltehetően ezen építkezések során tűnt el a XIV. századi lovagterem és az udvar hátsó részén állt középkori épületcsoport. Az épületben egy ideig óvoda, elemi iskola, szakiskola és bentlakásos iskola működött, majd 1929-ben megnyitották a Katolikus Tanítóképző Főiskolát, amely azóta is működik.