In seguito al restauro del 1997 sono emerse le strutture di un edificio precedente al Castello dei Ventimiglia, voluto nel 1316 dal conte Francesco I Ventimiglia. L'edificio attuale è il risultato di numerosi rifacimenti, che rendono difficile la ricostruzione del suo originario aspetto. A semplice pianta quadrangolare, mostra all'esterno un misto di stili che in quel periodo influenzavano tutta l’architettura siciliana. Il volume a cubo richiama lo stile arabo; le torri angolari quadrate riecheggiano quello normanno; la torre rotonda si rifà invece alle costruzioni militari sveve. Nel terremoto degli inizi del XIX secolo scomparvero i merli, della forma ghibellina, a coda di rondine, ed inoltre mura di cinta, torri ed archi, oggi andati in rovina. Alcune strutture difensive del XIII secolo e alcuni ambienti del XIV secolo sono invece rimasti intatti.All'interno le ricche sale hanno i soffitti a cassettoni scolpiti e decorati, e finestre e portali di stile gotico (soffitto ligneo quattrocentesco della “Sala Magna” decorato e poggiante su mensole scolpite). Esistevano inoltre scuderie, sale d’armi, le carceri per i condannati comuni e la fossa della tortura per i condannati a morte. Non mancano trabocchetti e segrete, fra cui una galleria sotterranea, che dal castello conduceva alla cappella di Sant’Antonio e, forse, fino alla rocca di Geraci. Al XV secolo risalgono inoltre le prime ristrutturazioni, in conseguenza del trasferimento al castello della reliquia di Sant’Anna, poi proclamata patrona della città.
La primitiva cappella di Corte fu più tardi trasformata in magazzino e quindi in teatro. Nell'attuale "Cappella Palatina" si conserva l'urna del 1521 della reliquia, a forma di busto e ornata di rilievi, con scene della vita di Sant’Anna e San Gioacchino e la nascita di Maria. Nei due altari laterali si osservano due tele, una "Discesa di Cristo", copia di un'opera del Rubens del 1460, e l’"Estasi di San Liborio", opera del pittore castelbuonese Mariano Galbo (XIX secolo). L'interno è interamente rivestito di stucchi, opera dei fratelli Giuseppe e Giacomo Serpotta (1663) ordinati da Francesco Rodrigo Ventimiglia. Vi sono raffigurate figure umane virili, putti, angeli, elementi floreali sacri e mitologici, con una varietà di stile che va dal quello più arcaico pesante di Giuseppe, a quello più agile e realistico di Giacomo. Si riporta che gli artisti lasciassero la propria firma raffigurando dei rettili marini nelle fasce dell’altare della Deposizione. L'apparato figurativo si compone di quattro allegorie che ben si adattano alla Santa: la Presentazione di Maria al Tempio: in cima alla scala sta il patriarca Zaccaria con le braccia aperte, genuflessa davanti a lui Maria, vigilata da un angelo, San Gioacchino prega il patriarca mentre Sant’Anna pare uscire dall'edificio ed è presente la figura di un uomo implorante. Segue lo sposalizio di Giuseppe con Maria: il sommo sacerdote, assistito da Gioacchino e da Anna, benedice le nozze; sullo sfondo risalta il Golgota dominato dalla Croce, in cielo Dio con i cherubini. Sotto le nicchie l’allegoria del Paganesimo e del Cristianesimo, raffigurate in due figure di lottatori. Pregevoli le sculture settecentesche in legno degli stalli del coro, con i mezzibusti dei Signori Ventimiglia e i personaggi del Vecchio Testamento.Nel 1920 il castello, che intanto era venuto in possesso del barone Fraccia, passò al comune di Castelbuono. In alcune sale restaurate è ubicato il Museo Civico;in Cappella è celebrata la festa Patronale di Sant'Anna che ha luogo dal 17 al 27 Luglio di ogni anno. inoltre è celebrato parte del rito dell'8 settembre in onore di Maria Santissima Bambina durante questa festa sono offerti in segno di gaudio sacchetti di ceci.
