Attyapuszta a középkorban kisbirtokos nemesek lakhelye volt, de 1544-ben a törökök elpusztították.

A kármeliták 1945 és 1950 között építettek remeteséget és lelki gyakorlatos házat kolostorral és az Attyakerttel. Az atyák saját kezükkel építették fel a templomot és a rendházat is.

Ez a Kármelhegyi Boldogasszony búcsújáróhelye, alapítása óta kegyhely, melynek Szűz Máriát ábrázoló kegyképe számos hívőt vonz. A rendek feloszlatása után az épület szociális otthonként is működött, manapság lelki gyakorlatos ház.