Se per la Cappella Palatina si è parlato di “restauri”, per quanto riguarda l'intero Palazzo dei Normanni si può parlare di distruzioni vere e proprie. Abbandonato dai vicerè di Aragona e poi di Spagna, che si trasferirono nel Palazzo Chiaramonte e poi nel Castellammare, quando agli inizi del '500 fu visto da Leandro Alberti in completa rovina sia nelle mura che nelle torri. Ed è proprio nel periodo che iniziarono le prime demolizioni. Nel 1535 Ferdinando Gonzaga inizia a demolire e modificare le torri. Alcune ne rimangono ancora in piedi nel 1581 a dar credito alla carta topografica di Palermo incisa in quell'anno a Siena da Matteo Florimi. Ma già in successione Marc' Antonio Colonna ed il viceré Maqueda, agli inizi del Seicento e anni successivi, ricostuiscono in forme ancora di primo Rinascimento le logge del Cortile della Fontana e dell'altro cortile sul quale prospetta il fianco della Palatina, nonché la zona basamentale del nuovo palazzo, ultimato dal Marchese Vigliena. Successivamente la Torre Greca venne cancellata, rimasero la Torre Pisana, l'affiancata Gioaria e le strutture normanne volte verso il Kemonia, adibito a prigioni, e verso occidente, dove tra il '60 ed il '70, avvennero trasformazioni per ottenere la famosa «Sala d'Ercole ». Nel 1735, il Re Barbone di Napoli, Carlo III fa costruire lo scalone d'onore, al quale si accede dal cortile del Duca di Maqueda.
La Reggia Normanna è uno dei più splendidi gioielli dell'architettura normanna, centro di cultura del Mediterraneo e frequentato da nomi come Edrisi e Pietro di Blois, dove vi furono promosse le traduzioni da Platone, Aristotele e Tolomeo e dove, in epoca sveva, svolse la propria opera la corte di Federico Il, e quella « scuola siciliana» dalla quale nasce la poesia italiana. Questa opera giunge a noi con il sapore di una regalità delegata e spagnolesca, ma al tempo stesso con uno spessore e valore storico e artistico senza pari, valore di una storia vissuta dal monumento stesso nelle sue innumerevoli trasformazioni.