Il Castello fu, secondo alcuni, una fortificazione saracena, ma sicuramente risale all’epoca normanna ( XI secolo). Sorgeva nel punto più alto della Città, fu costruito sulla roccia e domina sulla vallata del Gornalunga. Il Castello fu abitato nel 1411 dalla Regina Bianca di Navarra intenta a ricevere gli omaggi di obbedienza e fedeltà di città e feudatari. Dopo il terremoto del 1693 restano pochi ruderi del castello che da austera dimora nobiliare era diventato tetro carcere, per ridursi, infine, ad avanzo di mura, da qui la denominazione “Castellaccio”.