Nel 1558 gli Orsini cedettero alla potente famiglia dei Cesi per ventisettemila scudi San Polo. La fortezza di San Polo fu trasformata dai Cesi in residenza estiva frequentata dal mondo bene di allora essendo tramontata l'importanza militare del luogo. Il castello così divenne un tipico Palazzo baronale cinquecentesco. L'artefice fu il Cardinale Federico Cesi, grande mecenate delle arti. Si realizzarono allora gli splendidi affreschi cinquecenteschi dei saloni per opera di Federico e Taddeo Zuccari (operanti anche a Villa d'Este) e del Muziano, che dipinsero scene mitologiche, paesaggi e stemmi. Degne di nota sono le due sale poste al primo piano denominate sala dei vescovi e sala dei cardinali in riferimento al fatto che vi furono dipinti gli stemmi dei vescovi e dei cardinali appartenenti alla famiglia Cesi. Inoltre l'architetto Guidetti pensò ad alleggerire la struttura massiccia dell'edificio con l'apertura di grandi finestre.
Interno del castello
Qui nel 1603 si stabilì la prima sede dell'Accademia dei Lincei, creata da Federico Cesi, il quale, essendo amico di Galileo Galilei, lo ospitò.
Nel 1656 la peste spopolò il paese che nel 1678 dai Cesi passò alla famiglia dei Borghese insieme a Castel Madama e a Montecelio.
Nel 1678 i Borghese affittarono il palazzo baronale ad un certo Pietro Trusiani.
I Borghese ne conservarono il possesso fino al 1860.
Da allora le vicissitudini del palazzo sono state molteplici, addirittura utilizzato come granaio danneggiando irreparabilmente molti degli affreschi presenti. Solo sul finire degli anni '50, l'architetto Luca Brasini ne cura un preliminare restauro che fu poi completato dal giurista Andrea Berardi. In questi anni la stanza posta al primo piano nel mastio viene adibita a cappella e consacrata da Papa Giovanni XXIII. Circa trent'anni dopo, il Castello, bisognoso di notevoli interventi conservativi e di completamento, viene acquistato dalla società ICAB 23, che, nel più assoluto rispetto delle strutture, e con la supervisione della Soprintendenza dei Beni Architettonici e ambientali del Lazio, ne promuove un profondo restauro conservativo, strutturale e pittorico.
Dopo innumerevoli vendite e cessioni il castello continua ad essere di proprietà privata.
A pochi metri dal castello è situato il Museo Civico Preistorico, aperto solo il sabato e la domenica mattina.
