Nato coll'ampliamento ed ammodernamento della vecchia residenza degli Orsini - eretta nel sec. XV tra la Rocca e la Porta superiore - il vasto edificio fu realizzato sotto la direzione dell'architetto Sebastiano Cipriani, a partire dal 1693.
Questa prima fase di lavori si concluse nel 1721 e consistette, tra altro, nella edificazione di una nuova ala del Palazzo (l'odierna facciata) e di altri caseggiati destinati alla servitù ed alla attività agricola. Sistemazioni successive furono quelle dirette dagli architetti Nicola Salvi, Giuseppe Doria, Girolamo Theodoli ecc. che interessarono altre parti del complesso.

Del periodo medievale e rinascimentale, rimangono: la Rocca con torri cilindriche e resti del "Maschio" quadrato; la vecchia entrata del Palazzo Orsini, con arcata gotica in marmo della prima metà del sec. XV; e resti di affreschi.

Nell'ingresso principale al secondo pianerottolo della scala si trova la celebre lapide trovata nel 1757, che permise di determinare il sito della Villa di Orazio.
VAL . MAXIMA . MATER-DOMNI . PREDIA . VAL-DVLCISSIMA FILIA-QVE VIXIT ANNIS XXX-VI MEN II D XII IN PRE-DIIS SVIS MASSE MANDELANE . SEPRETORVM-HERCVLES . QVESQN PACE.

Nel primo pianerottolo si possono vedere due iscrizioni affisse al muro. La prima fu causa che Varia si tenesse per Municipio:
M . HELVIVS . M. F. CAM. RVFVS-CIVICA. PRIM. PIL-BALNEVM-MVNICIPIBVS. ET. INCOLIS. DEDIT.
La Seconda è stata trovata presso la Madonna del Sepolcro:
MVNATIA SPF- C MVNATIVS - † L. PAMPHIL-IN AGR. P. XIIX.