Il Palazzo, che sorge sulla via provinciale per Lecce, è testimonianza inconfutabile della permanenza dei Padri Celestini a Carmiano, che si insediarono nel 1448. E' stato realizzato in varie epoche e presumibilmente il nucleo più antico risale alla prima metà del XIV secolo.
La sua imponenza deriva dalle ragguardevoli dimensioni in lunghezza, pari a 45,50 metri, e in altezza, pari a 13 metri. Completamente realizzato in conci di tufo locale, è strutturato in due piani, comprendenti sale grandiose.
Il prospetto del Palazzo presenta un'ampia superficie liscia movimentata da diverse porte e finestre ed un ampio portale affiancato ai lati da due nicchie di statue lapidee raffiguranti Santi e incorniciato superiormente da uno stemma della Santa Croce che rappresenta l'ordine dei Celestini.

A sinistra del portone Durazzesco, una porta immette all'interno di una chiesetta dedicata a San Donato, ormai spoglia del corredo religioso ma ricca ancora di un altare fregiato da stucchi e marmi di vario colore. La volta a botte dell'androne è completamente decorata da un affresco raffigurante la glorificazione dell'ordine benedettino.
In una stanza adiacente alla chiesa compare sul muro un affresco di Madonna col Bambino che sovrasta un'apertura ad un piano interrato.
Il piano superiore del Palazzo comprende una serie di stanze comunicanti con ampio e luminoso salone ricoperto da stucchi eleganti che incorniciano le porte di accesso ed alcuni riquadri ormai spogli di tele.

Tale bene architettonico, inserito tra gli immobili di particolare pregio del Comune, è stato riconosciuto dalla Soprintendenza per i Beni Ambientali, Artistici e Storici della Puglia, di interesse storico e artistico.

Fonti