Merkezde Ulu Camii’nin yanında Osmanlı (Türk)Mimari Tarzına uygun muntazam, Hacıbektaş taşından yapılmıştır. Binanın yapımına Aksaray Valisi Abdullah Sabri KARTER zamanında 1924 yılının Haziranında başlanmış olup, yine Aksaray Valisi Ziya GÜNAR’ın zamanında 1926 yılının Mayıs ayında tamamlanmıştır (1340 -134). Bina Türk ustası Kayserili Şeyh Usta tarafından yapılmış olup, yapımına ve teşrifatına 20.000 (Yirmibin) lira harcanmıştır. Binanın duvarları çiçek kabartmalarıyla süslenmiştir.

Kütüphanenin şehir merkezi tarafındaki kapısının üzerinde Zamanın Aksaray Valisi Vali Ziya Bey’in yazdığı bir kitabe vardır.

Kütüphane binasının yapıldığı Hacı Bektaş Taşıyla ilgili o yıllarda bir hurafe uydurulmuştur. Bu taş güya Hacı Bektaş’ın balgamından türemiştir. Bundan dolayı da Bektaşiler bu taşa hürmet ederlermiş.

Kütüphane Binasının alt katı Vilayet Matbaası olarak kullanılmıştır.(Şimdiki Çocuk Bölümü) Bu Matbaanın makineleri İstanbul’dan Kohenka kardeşlerden satın alınmıştır. Matbaa kapısının üstünde şu yazı vardır.

Cumhuriyetin ilk yıllarında Aksaray Kütüphanesi, okuyucuların kitapla buluştuğu bir mekan olmanın yanında, toplantıların, konferansların, baloların düzenlendiği, nişan ve düğünlerin yapıldığı misafirlerin ağırlandığı bir mekandı.