Il castello di Cesarò sorge sulla sommità della rupe Giannina, una grande formazione di roccia arenaria posta sul margine meridionale dell'abitato. È opinione diffusa che la prima costruzione fortificata sulla rocca risalga all'epoca bizantina, nulla però ci permette di accertare che le attuali strutture siano quelle originarie. Piuttosto è ipotizzabile che la torre sia stata ricostruita nell'ambito del potenziamento delle fortificazioni dell'isola voluta dagli spagnoli
(fine XV, inizio XVI sec.). La costruzione e' poi stata ampliata dai Colonna circa 100 anni dopo.
Malgrado l'importanza storica e la posizione "strategica" della costruzione, oggi il castello di Cesarò è poco più di un rudere abbandonato.