Secondo molti studiosi il nome e l'origine della città vengono fatti risalire alla dominazione araba (il nome deriverebbe da quello del condottiero arabo Calaat-Abu-Thur.

Durante la dominazione normanna il paese appartenne alla famiglia del conte Ruggero; e sotto gli Svevi fu concesso ai Ventimiglia, a cui si succedettero varie famiglie sino al XVI secolo.

Nel 1550 alcuni degli abitanti si trasferirono fuori la cinta muraria, a quota inferiore rispetto al terrazzo roccioso della "Terravecchia", sede del nucleo originale. Il nuovo insediamento fu detto "Terranuova" e dal 1720 si andò arricchendo dei palazzi nobiliari.