A város legnagyobb középülete 1865-ben készült el, ekkor nyílt meg benne a papnevelő intézet, amelyet 1566-ban alapítottak. A II. világháborútól kezdve egészen a rendszerváltásig katonai célokra használták, de azóta ismét az egyházé. Az iskola mellett kutatócsoportok is helyet kaptak az épületben, illetve itt található Mindszenty bíboros emlékhelye is.

Az épület maga több mint 80 méter hosszú, alapterülete 12 000 négyzetméter. Érdekessége, hogy északi és déli homlokzata között 10 méteres szintkülönbség van, és míg az északi klasszicista, a déli romantikus stílusban épült. A Várhegyről is megközelíthető a Sóhajok hídján keresztül, amely - mint velencei rokona - arról kapta nevét, hogy a papnevelde hallgatói nagy sóhajtással léptek be a szigorú intézmény falai közé.