Tarihin, doğanın ve teknolojinin yıpratmakta aciz kaldığı kalenin geçmişi Selçuklular dönemine kadar uzanır. Şiddetli yer sarsıntılarıyla harap olunca önce Aydın oğulları daha sonra Osmanlılar tarafından tamir görmüştür. Ege denizindeki önemli stratejik konumunun Kaptan-ı Derya Piri Reis tarafından fark edilmesiyle Kanuni Sultan Süleyman tarafından Palak Mustafa Paşaya Teos harabelerinden getirilen taşlar kullanılarak yaptırılmıştır. Şimdiki hali 1521-1522 yıllarından kalmadır. Önceleri "Sığla" olarak anılan kale savunma amacından çok deniz üssü olarak değerlendirilmiştir. Kalenin Kuşadası , Ayasılık ve Seferihisar adında üç ayrı kapısı vardır. Deniz üssünde; Bir dış kale bir de koğuş tabir edilen askerlerin günlük hayatını ve eğitimini geçirdiği iç kale ile bu iç kalenin denize bakan kısmında iki burç ve iki kapı bulunmaktadır. Kale duvarları üzerinde bazı evlerin ikinci katı yükselirken duvar aralarında bazı ev duvarları ve pencereleri ile Teos'tan gelen taşlar görülmektedir. Burçların kuzeye bakan avlu duvarlarında 1.20'ye 50cm. ebadında 3m aralıklı mazgallar bulunmakta ancak şu anda bazıları kapatılmış durumdadır.
Kale içindeki evler bitişik düzende olup, bazıları tek bazıları iki katlıdır.Evlerin çoğunluğu kerpiçtendir, büyük bölümünün içinde iç avlu bulunmaktadır, iki katlı evlerde cumbalar ve tahta panjurlar bulunmaktadır. Evlerin içindeki merdivenler ve kapılar tamamen ahşaptır. Kalenin kuzey tarafında Barbaros Halil Paşa kemerinin üst bölümü yıkılmış durumdadır.