AKálvária-domb tetején a középkorban a bencés apátság falujának, Szentivánnak, Keresztelő Szent Jánosról, akit az Ómagyarban Szent Ivánnak hívtak, elnevezett temploma állt. A román stílusú romos templomot 1754-ben lebontották, Fellner Jakab a szentély csonka falait kiegészítette, sátortetővel átfedte, és délnyugat felé homlokzattal látta el. Tetejére kecses huszártornyot helyezett.
1755-ben kifestették, 1908-1911 között restaurálták. A második világháború okozta sérüléseket az 1962-1963. évi helyrehozatalkor végleg eltüntették. 1980-ban egy időre Fellner Jakab emlékére kiállítást rendeztek a kápolnában. A régi templom falainak feltárásával és állagvédő csekély felfalazásával az egykori templom alapterülete érzékelhető.