Il castello è posto sulla cima della collina su cui insiste il borgo medievale di Malvito. Dopo un primo insediamento longobardo-bizantino, la prima fase castellare risale all’epoca di Roberto di Altavilla, il quale si impadronì della rocca attuando uno stratagemma che gli valse l’epiteto di Guiscardo. Il castello risulta attivo in età sveva come sede di scontri di potere tra signori locali. Lievi modifiche architettoniche si riferiscono all’età angioina ed a quella aragonese.

Il castello presenta un impianto quadrilatero regolare, difeso agli spigoli da quattro torri (attualmente ne rimangono solo tre), di cui due esposte a nord di forma cilindrica ed una quadrata a sud. La cinta difensiva in presenta un andamento regolare rettilineo che segue la morfologia del terreno. All’interno è il torrione cilindrico (h m 17) in cui si svolge una scala “ad elica” molto stretta che comunica con i tre piani e con la terrazza di copertura, La torre fu adibita a carcere durante l’età vice-regnale.