Valószínűleg német telepesek építették az épületet, amely átalakítása előtt egy tipikus sváb parasztház volt. A helyi védelem alatt álló épület jelenleg turistaházként funkcionál.

Elnevezése utal Szarvaskő várára, amit a Himfy család címerállatáról neveztek el.