Baküyle ilgili ilk bilgiler çağımızdan 3500 yıl öncesi I Mısır fironu Menesin döneminde yazılan "Ölüler kitabında" geçmektedi. Ayrıca Bakünün eski bir  şehir olduğunu 12 bin yıl öncesine dayanan Apşeron ve Gobustan kaya yazıları, arkeolojik kazılardan çıkan bazı eserler kanıtlamaktadır. Milat öncesi Roma İmparatoru Pompe'inin ve Lukullun Kafkasyanın istilası amacıyla Bakü etirafına toplanan askeri birlikler hakkında  Gaisus Ogtavius tarafından yazılan taş yazılar da bu konuda önemli bilgiler arz eder. Bu bilgilerden yola çıkarak Bakünün 5,5 binden çok yaşı olduğunu söyleye biliriz.

Eski zamanlara uzanan bir sehrin orta asırlara ait eserleri haliyle çok olmalıdır. Fakat, yazımız Bakünün gizli kalan anıtlarını ihtiva etmektedir. Bu anıtları Kız kalesinden farklı kılan özellik onların bilinmemesidir.

Bu gün Azerbaycan tarihini tanımak isteyen turislerin en çok ziyaret etdikleri yer İçerişehirdir. Özellikle Şirvanşahlar sarayı, Kız kalesi, mescitler, labirint yollar ve diğerleri turistlere gösteriliyor. Ayrıca İçerişehrin yer altı dünyası kendi başına bir tarihi eserdir. Burası insanları şaşırtacak kadar tarihi anıtlarla zengindir. Yer altı hamamlar, seri odalardan müteşekkil su depoları, gizli yollar vardır.

Azerbaycanın orta çağlara ait şehir ve kalelerinde koruma amaçlı yapılan yer altı yollar hakkında bilgiler bir çok kaynaklarda yer almaktadır. Bu amaçla İçerişehirin kuzey yönünde duvarların iç kısmında  askerlerin rahat hareket ede bilmesi için "Goşa Gala" kapılarına kadar uzanan yer altı yol inşa edilmiştir. Yer altı yol kale duvarlarının burclarından birisi olan dörtköşeli kale-burçla batı ve doğu taraftan birleşiyor. Kale burcunun böyle geniş olması askerlerin silahlarını zorlanmadan taşıya bilmesi içindi. Bu yer halen pratik ve estetik özelliklerini korumaktadır.

Bakünün gizli kalan sirlerinden birisi de Bayıl kalesidir. Bu anıt "Bayıl kasrı" adlanıyor. XIII asırda inşa edilen kale Baküde çıkan deprem sonucu suların altında kaldı. Arif Erdebilinin "Ferhatname" eserinde "Bayıl kasrı" hakkında ilginç haberler geçmektedir. Kalenin uzunluğu 180, genişliyi 35 metrdir. Suyun altında kalan kale günümüzde de araştırılmaktadır.

Kalenin Hazar denizinin suları altında kalması daha önceden araştırmacılara  belliydi. 1782 senesinde rus araştırmacısı tarafından yapılan Bakü limanının haritasında "Bayıl tasları"nın sudan çıkarıldığı bildirilmiştir. Bu bilginin verilmesi daha çok Hazar denizinin seviyyesiyle ilgili olmuştur. Ayrıca Abbaskulu Ağa Bakıhanov da söz edilen kale hakkında önemli bilgiler vermektedir.

Araştırmalar sonucu Hazar denizinin sahile yakın kısmında, Bayıl yüksekliklerinin birisinde 1232-1233 senelerinde Şirvanşahlar Gerşenbin oğlu Feribürzün döneminde inşa edilmiştir.

Kalede yapılan araştırmalar sonucu "Bayıl kasırı"nın mimarı Abdül-Mecid Mesud oğlunun adının geçtiyi bir bölüm bulunmuştur. Bu mimar aynı zaman 1232 senesi Apşeronun korunması amacıyla Merdekan kalesini inşa etmiştir. Şirvanşahların adları yazılan taslar üzerinde ayrıca simmetrik insan, hayvan ve kuş resmleri de işlenmiştir.

Uzmanların görüşüne göre, bu anıt yıllarca sular altında kalmasaydı Apşeronun bir çok anıtları gibi tahrip olarak yok olacaktı. 1939-1969 senesi yapılan arkeolojik araştırmalar sonucu duvar uçukları ve su altından çıkan 700-den fazla yazı levhalar bulunmuştur.

Bayıl taslarının geneli tahrip olmuş durumdadır. Kalenin sadece bazı kısımları bize o dönemin mimari özelliklerini göstermektedir.

Elmin Nuri