A Fegyház épületét Migazzi Kristóf püspök eredetileg nemesifjak konviktusának készíttette, és Mária Terézia királynő tiszteletére Theresianumnak nevezte el az intézményt. 1808-tól a Ludovika Akadémia működött benne, börtönként 1855 óta üzemel. A régi épületrészt később körbeépítették, többször átalakították, udvarán egy neogótikus börtönkápolna épült.