Sotto la signoria dei Savelli si registrò un aumento demografico, infatti, se inizialmente si contavano circa trecento anime, si giunse ben presto alla cifra di duemila abitanti (tanto era il benessere che questa potente famiglia romana apportò nel suo feudo) nonostante che il terremoto del lontano 1258 piagasse atrocemente Palombara. Essa, nella sua crescita urbanistica, si é sviluppata intorno al castello che fu costruito a ridosso dell'alta torre di vedetta (IX secolo), il cosiddetto Torrione. Tale torre venne costruita per contrastare le scorribande saracene; nell'XI secolo i Crescenzi-Ottaviani, prendendo possesso del territorio, costruirono un castrum (lat. accampamento, fortezza) cingendo l'antica torre con una cinta di mura.
Torre di guardia del IX secolo
Il paese, con il passare del tempo ma soprattutto nel Trecento, crebbe proprio intorno ad esse ed al castello, seguendo l’andamento del terreno col risultato di un insediamento primitivo a spirale a cui fece seguito una crescita ad anelli concentrici man mano che il nucleo abitativo si espandeva.
Per meglio difendersi, gli abitanti preferirono costruire le abitazioni addossate le une alle altre creando vie strette e tortuose, tipiche di tanti altri paesi medievali, dove era possibile ingaggiare il corpo a corpo, far cadere sassi ed altro materiale dall’alto sopra il nemico che poteva utilizzare solo parte delle armi a sua disposizione. Porta San Biagio e Porta Sant’Egidio permettevano l’accesso in paese. Durante la signoria di Giacomo Savelli Palombara fu trascinata a vivere esperienze dolorose e drammatiche; costui infatti aveva appoggiato Tiburzio e Valeriano di Maso, i quali, oltre a rapinare ed ad uccidere, erano accaniti oppositori del papa, non accettandone il potere temporale, e si erano stanziati come base proprio a Palombara. Quando Pio II li fece giustiziare, essendo riuscito a catturarli, anche Palombara subì le conseguenze della collera del pontefice: nel 1461 fu assediata dalle truppe pontificie che costrinsero Giacomo Savelli ad arrendersi; gli andò abbastanza bene perché il papa gli confiscò tutti i suoi beni tranne Palombara.
