Il Castello di Salemi fu edificato (tra il 1070 e il 1130) dai Normanni, i quali si avvalsero di manovalanza araba, e riassestato dagli Svevi. Possiede tre torri angolari, una tonda e due quadre. Inoltre il Castello era circondato da una doppia cinta muraria. Non esiste più nessuna traccia di tali mura ma esiste la memoria di almeno cinque delle porte che consentivano l'accesso alla città e di almeno tre torri di guardia ad essi sovrapposti. Gli ingressi di cui abbiamo notizia erano: "Porta Gibli", "Porta Santa Maria", "Porta Aquila", " Porta Quercia", e "Porta Corleone". Le torri di guardia invece erano quella adattata a campanile dell'ex Chiesa Madre, e quella trasformata in campanile della Chiesa di Sant'Antonino. Di una terza torre si ha notizia in seguito a dei lavori nel quartiere della Giudecca, e di cui non rimane traccia alcuna.
Bisogna ricordare che dalla Torre tonda, Garibaldi sventolò la prima bandiera tricolore dell'Italia Unita il 14 maggio del 1860.
