Il castello Pentefur sorge in una posizione strategica, sopra uno dei poggi più belli e panoramici del colle che ospita Savoca e che si affaccia verso sud-est. Sembra che esso sia stato realizzato in tempi antecedenti alla dominazione araba, nell'epoca dei pentefur, i primi abitatori di Savoca, gli aborigeni del luogo. Il castello fu ricostruito dagli arabi stessi e poi dai normanni che lo ampliarono, trasformandolo da fortezza in residenza. Di questo oggi rimangono solo ruderi recintati da un alto muro a merli.
Attraverso le sue mura si aprono passaggi sotterranei che dovevano consentire agli abitanti del castello di evacuarlo per fuggire molto lontano, in caso di pericolo. Il Pentefur ebbe sempre una grande importanza per la difesa di Savoca. Nel territorio circostante furono costruite a tale scopo delle torri di avvistamento che si potevano raggiungere con mezzi convenzionali. Questi avamposti avevano lo scopo di controllare la costa e di segnalare l'eventuale avvistamento di nemici, in modo che la gente di Savoca riuscisse ad organizzare la difesa della città.
All'inizio del 1900 queste torri erano sei; oggi ne rimangono in perfetto stato solo tre. Di queste torri, cinque sorgevano sull'attuale territorio di Santa Teresa di Riva, l'antica Marina di Savoca: torre Varata, torre dei Saraceni, torre dei Bagghi e torre Avarna. La sesta venne eretta a Roccalumera, detta la torre di zia Paola, o torre Ficara.