A XX. század elején gróf Erdődy Sándor tulajdonában volt a falu, ő adta el birtokának nagyobb részét a Szombathelyről származó fakereskedő és gyáros Geist családnak. 1913-ban a Geist család "szergényi" előnévvel nemesi címet kapott. 

Geist Lajos 1907-08-ban építtette fel az eklektikus stílusú, szergényi kúriát. Apja birtokait később fia, Jenő örökölte, aki 1927-ben magyar királyi főtanácsos lett, és hét éven keresztül a szombathelyi izraelita hitközség elnöki posztját töltötte be.

Az I. világháború idején a család eladta földjeit a Magyar Őstermelők Részvénytársaságának, akiktől azonban 1945-ben elvették a kúriát, amelyben a tanácsi kirendeltséget és az orvosi rendelőt helyezték el.

A 2010-es évek elején Polgármesteri Hivatal, orvosi rendelő és óvoda működött az épületben.