A falu fölé magasodó, meredek dombon állnak az 1373-1374 körül épített vár romjai. Ma a belső tornya, a belső és külső vár falai láthatóak, illetve egy kétemeletes épület fala ablakmaradványokkal, amely talán palota vagy lakóépület lehetett.

Építtetője Himfy Benedek bolgár bán volt, aki Nagy Lajos köréhez tartozott, és a király kedvenc hadvezére volt. Szarvaskő elnevezése feltehetőleg a Himfyek címerállatára utal.

Elkészülte után a király Himfynek ajándékozta a várat, bár a Himfy család nem bizonyult népszerűnek a környékbelieknél, mivel állandóan rabló portyázásra indultak újonnan kapott várukból. Egy későbbi tulajdonos, Debrenthei még a pannonhalmi apátságot is kifosztotta innen indulva. Erre a hírre Mátyás király megfosztotta a családot minden birtokától, de hamarosan visszakerült hozzájuk a vár.

Szarvaskő vára 1555-ben még épségben állt, feltehetőleg egy török támadás során pusztulhatott el, a XVIII. századtól már romként ismert. A vár újrafelfedezője Rómer Flóris volt a XIX. század második felében, aki elsőként mérte fel és ábrázolta a vár megmaradt falait.

A várat idegenvezetéssel is megtekinthetjük, ehhez a Szarvasházba kell ellátogatnunk.