Il Castello dei Conti di Modica sorge nella vasta piazza della Repubblica, antica piazza d'armi della gendarmeria aragonese.
Secondo una vecchia leggenda, il castello era stato eretto nell'anno 827 d.C. dal capitano saraceno Adelkam ma, realmente, esso venne costruito nel 1350 circa sotto Enrico e Federico Chiaramonte, successori dei Peralta.
Quello era infatti il periodo delle lotte tra le potenti famiglie per il controllo della produzione del frumento e delle grandi vie commerciali del tempo. Il castello apparten alle famiglie dei Peralta, dei Chiaramonte, dei Ventimiglia e dei Cabrera Conti di Modica.
Il castello è di forma romboidale, con quattro torri alternate, due quadrate e due circolari. Nella torre quadrata, denominata "Maestra", i prigionieri venivano rinchiusi per la tortura; nella seconda circolare, si ammira uno stemma forse appartenuto a Federico II; nella terza quadrata vi erano i locali per le sentinelle e nella quarta gli alloggi per i sovrani di passaggio: re Martino I con la regina Maria, l'infante Eleonora d'Aragona e l'imperatore Carlo V con la sua corte al ritorno dall'impresa di Tunisi del 1535.