Il castello medievale è situato su un colle, su uno sperone roccioso a circa 600 m. d'altezza. Lo si può riconoscere per una croce di colore rosso dipinta durante la Seconda Guerra Mondiale dalle truppe tedesche che lo trasformarono in campo ospedaliero. Nonostante le cattive condizioni,  visitandolo si ha l'immediata impressione della  grande fortezza che fu  e della sua importanza strategica.
Appena entrati dal cancello alzando gli occhi sulle mura è possibile ammirare una latrina sospesa, uno dei pochi esempi presenti in Ciociaria. 
Si possono ancora scorgere le stanze, alcune completamente affrescate, di cui il castello era dotato, la cappella con ancora visibile un affresco raffigurante una magnifica Madonna Nera, la Sala Capitolare, tramezzata per accogliere le Monache di San Nicandro, con archi a tutto sesto e tracce di camini i cui travertini sono stati trafugati negli anni.     
Sul camminamento delle mura perimetrali è possibile spaziare con lo sguardo su tutta la Valle di Comino. Dal castello si può ammirare un panorama che offre una visione a tutto campo con i boschi, le montagne, i paesi circostanti della Valle di Comino e il borgo antico di Vicalvi. 

Architettura: Il castello longobardo è a pianta poligonale posato sulla roccia e dove c'era un tempo una antica acropoli romana. Ad est è possibile vedere la torre che è situata nel punto più alto del castello

Storia: Non si conoscono molte notizie certe sulle prime origini di questo maniero del secolo XI°. Il castello longobardo fu costruito da Filippo I° Colonna posato sulla roccia e dove c'era un tempo una antica acropoli romana. Venne distrutto e saccheggiato dai Saraceni nel 915 e ricostruito ad opera dell'abate Aligerno  nel 938. Con la fortificazione del Castello anche Vicalvi assunse una crescente importanza. Nel 970 Venne donato a Montecassino da Hildeprandus che si qualificava come  Conte " de Sora et de Vicu Alba".    
Nell'anno 1000 il Signore del castello è un certo Oderisius. Divenne  una fortezza di confine dal quale, nel 1187, partirono anche uomini per la Terra Santa. Viene distrutto nel 1191 dalle truppe di  Enrico Di Hohenstanfen e  nel 1349 da un violento terremoto. Negli anni successivi fu ristrutturato e furono aggiunti altri manufatti. Nel 1574 Giulio Prudentio di Alvito scriveva di un castello utilizzato, in tempo di turbolenze,  dalle Monache che stavano in San Nicandro. Alla fine del 1500 fu reso ancor più fortificato verso est con la costruzone della Torre della Rocca tale da renderlo, per  le cronache del 1600 una fortezza molto forte, posto in alto ed inespugnabile.Per tale motivo qui si rifugiò Carlo V° con le sue truppe durante la battaglia, per la conquista dell'Italia, contro Francesco I° Re di Francia. Le ultime notizie che definiscono il Castello ancora in buone condizioni provengo dagli  scritti di due importanti storici locali: Castrucci e Pistilli. Alla fine del 1700 il castello veniva descritto in rovina alla mercè di uomini e donne di malaffare e per tale motivo il Duca di Alvito lo cedette per una cifra simbolica alla famiglia Celli che abitava di fronte al Castello. Negli anni  le sue  condizioni sono peggiorate progressivamente. Il castello è di proprietà  dell'amministrazione comunale di Vicalvi dal 1985.
Da allora su di esso sono stati eseguiti lavori di consolidamento statico e murario per arrestarne il degrado.
Per la ristrutturazione totale del maniero ed il suo riuso sono necessari 7.000.000 di € che l'amministrazione comunale non dispone.