Siverek ilçe merkezindedir. Sivri kemerlerle birbirine bağlanmış dört bazalt sütun üzerine oturan sekizgen kasnaklı bir kubbe ile örtülü olan türbenin içerisinde Koç Ali Baba’nın mezarı bulunmaktadır.

“Keşkül” adlı el yazması eserde: Koç Ali Baba türbesinin Siverek kasabasının Havuz Bahçe mevkiindeki mezarlıkta kargir bir yapı olduğu, ancak bu alanın Maarif’e verilmesi nedeniyle bu türbenin içerisindeki tahta tabutlarda yatan Koç Ali Baba’nın hanımının, oğlunun ve kölesinin naaşlarının naklinin yapıldığı sırada Koç Ali Baba’nın cesedinin mumyasız olduğu halde çürümediği, sol memesi altındaki yaranın ve kölesinin kesik başlı oluşunun bunların şehit edildiklerine işaret sayıldığı ifade edilmektedir. Abdulcelilzade Zühtü Efendi, bu durum karşısında olayın vilayete bildirildiğini ve Ankara’dan alınan emirler 1927 tarihinde Urfa valisi Fuat Bey Genel Müfettiş Tali Bey, Siverek Hükümet Tabibi Dr. Kamil Bey ve Sağlık Müdürü tarafından yapılan incelemede de “cesetlerin çürümediği tespit edildiğini, Ankara’ bildirildiğini ve Ankara’dan mezarların olduğu şekilde korunması emrini aldıklarını” belirtmektedir.

Bu bilgilere dayanarak, esas türbenin Siverek’in Havuz Bahçe mevkiindeki mezarlıkta bulunduğu, 1927 yılında bugünkü yerine nakledildiği ve üzerine günümüzdeki baldeken kümbetin yapıldığı anlaşılmaktadır. Ancak bugün kümbet içerisinde sadece Koç Ali Baba’nın mezarının bulunması, onun hanımı, oğlu ve kölesinin mezarlarının da nakledilip edilmediği hakkında bilgi vermemektedir. Koç Ali Baba ve yine Siverek’te türbesi bulunan Cerrah Baba’nın 639’da bölgenin fethine gelen İslam Ordularının komutanı İyaz Bin Ganem’in yanında savaşan Cabir el-Ensar’ın çocukları olduğu, Siverek’i fetheden İyza bin Ganem’in, Koç Ali’yi vali, kardeşi Cerrah’ı da imam olarak Siverek’e tayin ettiği halk arasında anlatılmaktadır. Yine her iki kardeşle ilgili olarak halk arasında şöyle bir olay anlatılmaktadır: “Bir gün Cabir, peygamberimizi yemeğe davet eder, ve evdeki kuzuyu keser. Kuzunun kesildiğini gören küçük oğlu Cerrah, babasının kuzuyu nasıl kestiğini kardeşi Ali’ye tarif edeyim derken Ali’yi keserek öldürmüş olur. Korkusundan kaçarken damdan düşen Cerrah boynu kırılarak ölür. Bunu duyan peygamberimiz her iki çocuğun cesedini yanına getirterek mesh eder ve çocuklar dirilir”