Quasi certamente, fu tra il 1194 ed il 1196 che Papa Celestino III (Giacinto Bobone) concesse in feudo le terre della città di Varia, insieme con Bardella e Cantalupo (l’odierna Mandela) a titolo di pegno: il diploma è citato nelle Gesta Innocentii III, ai pronipoti Giangaetano, Giacomo, Napoleone e Matteo figli di Orso Bobone che, abbandonato il cognome di Bobone, divennero dapprima Ursini, ed in seguito Orsini.
Gli Orsini ampliarono l’abitato e lo fortificarono ulteriormente al punto che dai cronisti del sec. XIII era ritenuto una rocca imprendibile, di grande importanza strategica nelle guerre per la conquista del Regno di Sicilia da parte di Carlo d’Angiò. L’opinione della sua inespugnabilità era ancora molto viva nei secoli posteriori tanto che parecchi scrittori come il Merula, lo definirono un «castrum Vicovarii cum natura loci, tum opere munitissimum» o come nella descrizione fatta dal Campagna:
«Vicovaro, passo importante ai confini del Regno di Napoli, onde era solito dire il Card. Granvela che bisognava che il Re di Napoli fosse amico di chi possedesse Vicovaro…».
Il 29 ottobre del 1273, gli allora Signori di Vicovaro, Francesco e Giacomo di Napoleone e Matteo Orso Orsini concedettero alla Comunità di questo castello gli statuti comunali, tra i più antichi del genere. Nel 1378, l’8 aprile, durante i tumulti che scoppiarono a Roma per l’elezione di Urbano VI, il Cardinale Giacomo Orsini fratello di Giovanni e Rinaldo, dei conti di Tagliacozzo, Signori del luogo, fuggì da Roma e riparò nel castello di Vicovaro: morì il 15 agosto 1379 a Capistrello, ove si era ulteriormente rifugiato.
Nel 1456 agli Orsini di Tagliacozzo, estinti con Giovanni Antonio - cui si deve la costruzione della prima fase della Cappella di S. Giacomo- subentrarono il ramo congiunto di Bracciano nelle figure del cardinal Latino, Napoleone, Roberto e Giovanni, abate commendatario di Farfa ed Arcivescovo di Trani.
E proprio a quest’ultimo, che godette della Signoria di Vicovaro, si deve il compimento nella sua parte scultorea del più famoso monumento di Vicovaro.
Oltre quelle di Martino V Colonna e di Pio II, vi furono altre visite importanti a Vicovaro come quella di papa Sisto IV del 1473 a Giovanni Orsini, arcivescovo di Trani, descritta dal Platina nel volume dedicatogli «De vera nobilitate», e quella di Ferrante d’Aragona, sempre a Giovanni di Trani, nel febbraio del 1475, come si può trarre dal De Conviventia del Pontano.
Il castello vicovarese fu anche luogo di un importante incontro tra 
Alessandro VI Borgia e Alfonso II d’Aragona per decidere sulle sorti d’Italia nell’imminente invasione di Carlo VIII di Francia per conquistare il Regno di Napoli. L’incontro avvenuto il 13 luglio 1494 venne descritto dal Gattico nel suo De itineribus romanorum Pontificum attingendo notizie dal Diario del Burcardo, cerimoniere della corte pontificia, testimone oculare dell’incontro.
Sempre dal Merula sappiamo che vi morì il 3 dicembre del 1533 Ludovico Gonzaga da Bozzolo detto Rodomonte, generale di Clemente VII, nel tentativo di punire il ribelle Napoleone di Gian Giordano Orsini, abate commendatario di Farfa e Signore del luogo.
Il 1° ottobre del 1556, nella guerra tra Paolo IV Carafa e Filippo II, il castello venne espugnato da Vespasiano Gonzaga figlio di Ludovico, comandante degli imperiali. I pontifici poi lo riconquistarono il 14 febbraio 1557 dopo averlo assediato per cinque giorni continui e come dice il Moroni: «gli assalitori entrarono con tanta rabbia nel Castello, che tra tedeschi e spagnoli ne tagliarono a pezzi quattrocento».
Un atto notarile del 12 giugno 1541 segna una data importante per il nostro paese: a Francesco, figlio di secondo letto di Gian Giordano Orsini, per la sua pessima condotta di vita, fu imposto di cedere tutti i diritti di primogenitura al fratello Girolamo, che divenne così il titolare del ducato di Bracciano. A lui rimasero in godimento vita natural durante Vicovaro, Cantalupo, Bardella e Saracinesco. Così con Francesco, si venne a creare il cosiddetto ramo degli Orsini di Vicovaro o d’Aragona. E questo ramo degli Orsini governò Vicovaro sino al 19 marzo 1607, ossia alla morte di Giovan Battista di Francesco, quando estintasi questa progenie per mancanza di eredi maschi, Vicovaro, Cantalupo e Bardella, ritornarono al legittimo proprietario, l’allora duca di Bracciano, Virginio Orsini.
Agli Orsini di Aragona è da ricondurre la stesura degli Statuti di Vicovaro dell’8 luglio del 1602.
Nella seconda metà del sec. XVI iniziò il decadimento dell’abitato dovuto sia al venir meno della primaria importanza militare della zona, sia alle continue e funeste pestilenze. Dannosissima sarà quella del 1656 che fece scendere il numero della popolazione a 422 abitanti, e la conseguente carestia del 1691 che costrinse la comunità impoverita e stremata a chiedere aiuto alla Sacra Congregazione del Buon Governo.
Il 24 luglio del 1690 la Reverenda Camera Apostolica, intesa la Congregazione dei Baroni, pose all’asta alcuni beni spettanti ai fratelli Orsini: Flavio, duca di Bracciano e Lelio principe di Vicovaro, perseguitati dai creditori. Tra questi beni c’era Vicovaro «… con sua giurisdizione, titolo, territorio ed altri beni, stanto mobili che stabili…».
«… il papa […] proseguì il viaggio per Vicovaro, feudo del conte Girolamo Bolognetti, il quale per dimostrare la di lui venerazione, aveva fatto erigere un grande arco nella strada presso la posta dei cavalli, ornato di varie statue rappresentanti altrettante Virtù, di emblemi ed iscrizioni. La principale la ricavo dal mg Brancadoro, “Pio Vi in Subiaco”, diceva: Pio VI P.M. Sublacum sui beneficiis auctum proficiscenti, Hieronymus Bolognetti Vici Vari Bar. Felicitatem precatur.