Edrisi nel 1154, nel libro di Ruggero, così descriveva il Castello Barresio di Pietraperzia : “Robusto castello e ben saldo fortilizio, ha i confini molto estesi”. Edificato su una roccia calcarea su una precedente fortificazione islamica, fu rifatto ed ampliato dai normanni ed ebbe ulteriori rimaneggiamenti nei secoli successivi. Fu munito di grossi cannoni ed opportuni rivellini per adattarlo alle nuove tecniche di difesa. La cappella,, ad un’antica navata, era abbellita con affreschi e da un dipinto raffigurante la Madonna della Catena. Di fronte alla cappella, un portale conduce ad un ampio cortile, un tempo ricco di elementi decorativi che in buona parte furono asportati dai Principi Travia Lanza trasferitisi a Palermo.
Al disotto del salone c’era la sala d’armi, in cui venivano custodite armature di cavalieri e di cavalli, elmi, spade ed alabarde, che, trasferite al Museo di Agrigento, furono saccheggiate dai rivoltosi nel 1820. Il castello rimase proprietà della famiglia Barresi, alla quale fu ceduto, nel 1200, da Federico II, sino al 1571, quando, morto l’ultimo della dinastia, passò alla di lui sorella, sposa del Principe Branciforte. Abitato poi dai signorotti del luogo, successivamente venne dato in affitto al Comune, che lo trasformò in carcere.