Di notevole interesse storico riveste la Chiesa di Santa Maria in Arce (Madonna della Rocca) ultimo resto del castello dove nacque Papa Alessandro IV; le sue pareti sono parzialmente affrescate con dipinti del XII secolo. Esigui sono i resti del Castello fatto edificare dall'abate Giovanni V. Del Castello è rimasta solo la chiesetta, che faceva parte integrante dell'antica struttura; antica è anche l'immagine in terra cotta della Madonna con il Bambino sulle ginocchia che troneggia sull'altare. Per essa la popolazione di Jenne ha avuto da sempre una devozione particolare e per il luogo un rispetto sacro, come di attaccamento alle origini. La chiesetta, che di fatto era l'antica cappella del Castello, è stata ampliata negli anni trenta del secolo scorso. Un pio sacerdote, don Stanislao Fratticci, per la sua bonomia da tutti chiamato zi' Prete quasi ad essere zio di tutti, facendo leva sulle offerte e sulle prestazioni gratuite della popolazione, l'ampliò aggiungendovi una nuova ala. La cappella, resa così più spaziosa e capiente, accoglie più comodamente cittadini residenti e non residenti nella festa della Natività della Madonna, che si celebra l'8 settembre di ogni anno. La Chiesa della Madonna della Rocca conserva affreschi del XIV secolo.