Se in Sicilia le architetture militari erano distribuite un po’ ovunque, anche Modica, per la sua importanza, non poteva che averne una. Costruito su un promontorio roccioso, il pianoro conclusivo di una collina (su presenze funeraria del genere di Pantalica), presentava agli attaccanti due lati su tre con pareti a strapiombo. Del castello rimane una torre poligonale,  costruita nel XIV secolo. Fu fortificato, ingrandito e modificato dall'VIII e il XIX secolo. Fu abbandonato dopo l'Unità d'Italia, quando il Carcere, il Tribunale e gli Uffici Circondariali vennero trasferiti altrove. Nel castello, oltre il presidio militare, vi era un carcere, la residenza dei Conti di Modica e, successivamente, del Governatore della contea.
Nel XIII secolo, Carlo I d'Angiò fece stilare gli Statuta Castrorum Siciliae, due elenchi dei castelli demaniali presenti in quel momento in Sicilia. Uno fu redatto nel 1268 e l’altro nel 1272. Nel secondo, è citato, per la prima volta in un documento, anche il castello di Modica. Esso appare, altresì, in una Bolla, del 1255, inviata a fra Ruffino de' Minori, che era cappellano e penitenziere papale.

Tra le funzioni principali del castello vi erta quella carceraria. Nel cortile interno, infatti, sono ancora visibili una serie di stanze create nalla roccia, adibite per galeotti di diverso tipo e classe sociale, oltre agli imputati in attesa di giudizio. Per i soggetti più pericolosi sono adibite nel cortile due fosse, profonde circa sette metri, chiuse alla sommità da grate in ferro, che vi facevano entrare aria e luce.
Nel castello, dal 1361, vi amministrava la Giustizia la Gran Corte, e, dal 1392,  anche la Corte per le I e II Appellazioni. Molto dopo, nell’Ottocento (1816), operò il Tribunale civile e penale di I grado e la Corte d'Assise. Come detto, dal 1865, gli uffici e le corti giudiziarie vennero trasferite nei conventi requisiti, lasciando privo di funzioni il castello, e, quindi, abbandonato all’usura del tempo.

Il castello, da sempre, ha ospitato una struttura religiosa, come cappella privata per i conti di Modica e del Governatore o in funzione dei galeotti che vi erano detenuti. Nel cortile del castello, dalle vestigia della chiesetta di San Cataldo, d’età medievale, si passa ai ruderi della chiesa di San Leonardo, d’epoca ottocentesca, fino ad arrivare alla chiesa della Madonna del Medagliere costruita appena nel 1930.
Tra i recenti ritrovamenti si conta anche quello di un cunicolo sotterraneo aperto direttamente nello sperone roccioso su cui è posto il Castello. Si suppone che servisse per la  ronda militare.

Ai suoi tempi migliori, nel castello di Modica vennero ospitati il re Federico IV d'Aragona, dal conte Matteo Chiaramonte nel 1366, ed il re Martino I, su invito  del conte Bernardo Cabrera nel 1401.
Al pressante sviluppo urbanistico ed edilizio della città, invece, come capita un po’ ovunque, sono state sacrificate molte delle antiche vestigia del castello. Sono così scomparse (in gran parte) le 5 torri e molto della cinta muraria con le sue 4 porte.
Attualmente esiste un progetto per un riuso moderno come centro congressi della parte del castello più recente e quindi in uno stato migliore. I lavori legati alla sua realizzazione hanno permesso di portare alla luce manufatti e suppellettili di epoche diverse, dal periodo neolitico a quello medievale. Sono stati ritrovate  pavimentazioni, fondamenta e grossi muri e parti di capanne primitive, oltre che una grande quantità di arredi funerari, ceramiche, monete in bronzo e vasellame vario.

La misura del tempo
Il castello di Modica aveva una sua “voce”. Sono ancora visibili, infatti, tre nicchie campanarie, attualmente  murate. Le campane, che vi erano alloggiate, servivano per indicare alla città il passaggio del tempo, ma anche segnalavano alla popolazione i momenti speciali, che si vivevano al suo interno.

Nel 1725, su quello che rimaneva di una torre del castello, dopo il terribile terremoto del 1693, fu montato un orologio meccanico. Dopo secoli esso è ancora funzionante e visitabile dai turisti, che dalla torre godono dello stupendo paesaggio della parte bassa di Modica. Da tempo i modicani considerano la torre dell’orologio uno dei simboli della città, tant’è che essa è uno dei monumenti più fotografati da chi visita Modica.
E’ ancora perfettamente funzionante, grazie alla quotidiana cura dei suoi ingranaggi. La revisione (ogni 24 ore circa) è da tempo affidata all'orologiaio Sergio Cannarella e al figlio Davide.