Su un promontorio roccioso a becco d'aquila si erge il Castello di Modica. E’ difficilmente assediabile dato che due lati su tre sono costruiti su pareti a strapiombo: Inizialmente era una fortificazione rupestre, ma ebbe continui rimaneggiamenti e ampliamenti, dall'VIII al XIX secolo, quando venne pressoché abbandonato. Al suo esterno è ancora presente una torre poligonale del Trecento. Nel cortile interno  è posta la chiesa della Madonna del Medagliere. Essa è relativamente recente, essendo stata costruita nel 1930, sui resti della precedente di San Leonardo, utilizzata per la preghiera dei carcerati. E’ altresì visibile ciò che rimane della chiesetta di San Cataldo, che fungeva da cappella privata del Conte e del Governatore. Tra terremoti (in particolare quello del 1693) e demolizioni urbanistiche non rimane quasi traccia delle 5 torri, delle 4 porte e della cinta muraria del Castello originario.

Si ha notizia certa del Castello di Modica quando esso venne inserito negli Statuta Castrorum Siciliae, i due elenchi dei castelli demaniali siciliani, che, per ordine di Carlo I d’Angiò, vennero redatti nel 1268 e nel 1272. Altro documento consultabile che cita il Castello è una Bolla indirizzata a fra Ruffino de' Minori, (cappellano e penitenziere personale del Papa) datata “Anagni 21 agosto 1255”.

Tra i personaggi di rilievo che trovarono ospitalità nel Castello  di Modica abbiamo il re Federico IV d'Aragona (dal conte Matteo Chiaramonte), nel 1366, e il re Martino I nel 1401 (dal conte Bernardo Cabrera).

Essendo la fortificazione principale dell’ampia e importante Contea di Modica, ospitò al suo interno diverse funzioni civili oltre che militari. Fu sede del Governatore della contea, poi, dal 1361, della Gran Corte di Giustizia, nel 1392 della Corte delle I e II Appellazioni, fino a trasformarsi, dal 1816, in Tribunale civile e penale di I grado e Corte d'Assise. Divenendo Capoluogo di Distretto della Intendenza di Siracusa ne ospitò gli uffici fino al 1865.
Tutte queste funzioni  caratterizzarono il Castello con una serie di prigioni di carattere diverso per diverse persone o imputazioni. Troviamo, infatti, celle per donne, condannati comuni, persone di rispetto eaccusati in attesa di giudizio. Ovviamente non mancano luoghi di detenzione per briganti e pericolosi assassini: sono ancora visibili due grandi pozzi profondi circa 7 metri, che prendevano luce e aria solo dalla grata di ferro posta in alto a chiusura. 
Con l’Unità d’Italia furono espropriati tutti i monasteri e conventi dei vari ordini religiosi, che portò, dato il gran numero di costruzioni, a trasferirvi  i vari uffici, le carceri e i tribunali. Anche il Castello di Modica, quindi, perse tutte le sue funzioni, restando inutilizzato.