Il campanile, a forma quadrata, con un'edicola con la Vergine, fu abbattuto e ridotto a vela nel corso dei lavori del XVII sec. Nell'unica navata rimasta è possibile ammirare uno splendido mosaico cosmatesco. Nel 1911 è stata riportata alla luce la grande decorazione ad affresco dell'abside 
e dell'arco trionfale, collocabile in un ambito cronologico che va dalla fine del XII sec. agli inizi del successivo. E' certamente l'opera di maggior interesse della chiesa.
Gli affreschi, molto simili a quelli della cripta del duomo di Anagni, sono legati alle leggende dell'imperatore Costantino e di S.Silvestro (potere temporale e potere spirituale).
Gli affreschi interni
Poichè sono stati eseguiti con somma arte in una chiesa situata al centro di una nuova area urbana, annessa all'ampliamento della cinta di mura cittadine, si è portati a pensare che essi dovevano rispondere ad un preciso disegno politico.
La scena della glorificazione
è situata nell'arco trionfale: Cristo benedicente campeggia dentro un'aureola con ai lati i quattro evangelisti, i sette candelabri ed i quattro seniori dell'Apocalisse che offrono calici d'oro, simbolo delle preci dei giusti.
Nel catino dell'abside è invece situata la teofania cioè l'apparizione del Cristo sulla cui testa Dio regge una corona. Il Salvatore è ritratto in atto di alzare la mano destra verso Paolo mentre con la sinistra dà a Pietro il rotolo della legge. La scena paesaggistica, raffigurante una riva del Giordano, è racchiusa tra due palme su una delle quali è posata una fenice, simbolo di risurrezione. Sempre nell'abside sono tre cicli di affreschi. Nel primo sono ritratti dodici agnelli (gli apostoli) che, divisi in due schiere, si dirigono verso il sanguinante Agnello divino, posto al centro dell'affresco. Nel secondo ciclo compare invece la Vergine con il Bimbo benedicente . E' assisa su un trono ed ha ai lati S. Giovanni Battista e S. Giovanni Evangelista. Nel terzo ciclo infine sono raffigurate le leggende legate alla conversione di Costantino e alla vittoria di S. Silvestro sul drago .
