Alla morte di Filippo, avvenuta nel 1639, il figlio cardinale Girolamo avviò ulteriori trasformazioni del Palazzo, affidandone la progettazione all'architetto romano Antonio del Grande: il terzo livello del loggiato del cortile, che riporta il suo nome nella grande iscrizione in mosaico che corre tra il secondo e il terzo livello, con le arcate a sesto ribassato su pilastri al primo livello e due ordini di archi su colonne di riuso ai livelli superiori; l'inserimento di un altare a edicola marmorea con colonne e timpano mistilineo in cui è inserita la lapide che ricorda l'apertura da parte del cardinale della Porta Santa di S. Giovanni in Laterano di cui era canonico. Nel 1663 al piano primo dell'ala est fece costruire ed affrescare interamente la cappella con grandi scene sacre e squarci di paesaggio.
Castello Colonna di Genazzano
Nel corso del XVIII secolo vennero rafforzati tramite enormi contrafforti a scarpa, alcuni del lati esterni del perimetro e fu costruita l'elegante balaustra che chiude a sud il cortile, divenuto ormai spazio privato e non più aperto ai locali. Nel 1829 a spese della comunità e del principe Aspremo Doria-Colonna, si provvide a restaurare il ponte-acquedotto che unisce il palazzo all'ampio giardino. Rimasto indenne per molti secoli, il Castello subì le scosse del terremoto del 1703 che colpì L'Aquila e di quello del 1915 che causò tanti morti ad Avezzano. Poi, durante la Seconda Guerra Mondiale, nel 1943, fu colpito da un bombardamento di una squadriglia della RAF, finalizzato a distruggere i forni, allestiti dentro il castello dai tedeschi con lo scopo di rifornire i propri soldati asserragliati a Cassino.
Nel secondo dopoguerra il Genio civile provvide a demolire il vecchio ponte e a ricostruirlo ad unica campata in cemento armato. Nel 1979 il Castello, dopo anni di degrado e abbandono, è divenuto proprietà del Comune di Genazzano che ha provveduto a ristrutturarlo completando lo sforzo con un ingente intervento nell'ambito dei lavori per il Giubileo del 2000. Per acquistarlo il Comune sborsò 150 milioni con un contributo dell'Amministrazione Provinciale di Roma, il cui Servizio Restauri dell'Ass. P.I. e Cultura ha dato inizio nel 1983 ai lavori di consolidamento statico e di ordinaria manutenzione. Divenuto Centro Internazionale d'Arte Contemporanea, nei suoi spazi sono state ospitate prestigiose mostre: Cucchi, Pizzicannella, la collezione Tonelli, si sono articolate nei 3000 mq di superficie suddivisa in più di 20 sale. Oggi il Castello è dotato di una serie di servizi quali biblioteca specializzata, archivio storico, sala conferenze, servizio visite guidate, laboratori didattici, tecnologia multimediale, videoteca, biblioteca digitale e cartacea, punti ristoro e vendita.
