A templomot eredetileg az egyetlen magyar alapítású szerzetesrend, a pálosok szerzetesei építették. A pálosok a protestánssá vált Pápa visszatérítése céljából, az ellenreformáció eszközeként érkeztek Pápára 1638-ban, amikor is megépítették első templomukat, amit Gyümölcsoltó Boldogasszony tiszteletére szenteltek. Hatásukra ismét terjedni kezdett a katolicizmus. 1761-ben építették meg gimnáziumukat, amely a mai templom bal oldalán áll, jobbján pedig rendház volt, amely ma városházaként funkcionál.

A szűkössé vált épületet 1737-ben elbontották, és megkezdődött a helyén a ma is álló templom építése. A felszentelésre 1742-ben került sor, a belső tér 1755-re nyerte el végső formáját.

1786-ban II. József feloszlatta a pálos rendet, tagjai elhagyták a várost, a templomot bezárták. Az 1806-ban Pápára érkező bencések vették át az templomot egészen 1950-ig, amikor a kommunista rendszer feloszlatta rendjüket.

A kis barokk templom ma Pápa rejtett, ám annál fontosabb építészeti értéke. Kovácsoltvas kapuja gazdagon faragott, fölötte három félköríves ablak látható. Órapárkányos tornya ma óra nélkül áll. 

Belsejét az érett barokk lenyűgöző díszítettsége jellemzi. Főoltára a templom teljes magasságát kitölti, az Oltárkép pedig a Fekete Madonnát ábrázolja a kisdeddel. A festmény még az előző templomhoz készült a XVII. században. A négy padsor elején és hátulján reliefek mutatják be Remete Szent Pál életét. A stallumot, azaz kóruspadot Tatirek Félix pálos szerzetes faragta 1753-ban rokokó stílusban.