Horasan Alperenlerinden İlyas Dede, 1600’lü yıllarda Anadolu’yu İslamlaştırmak için yola çıkan ve Karabük’ümüzün manevi kurucusu Bahaddin Gazi Hazretleriyle beraber yolculuk ederek o zamanki adı Gızılbel olan Karabük’ün merkez köylerinden Kadıköy’ün Şıhlar Mahallesine yerleşmiş.

Ulaşılabilen arşiv ve eskiden gelen bilgiler bu kadarla sınırlı olup, İlyas Dede’nin bilinen ve görülen birçok alametleri vardır. Yaz-kış hiç kesilmeyen, aynı zamanda borulanmak veya depolanmak istendiğinde kesilen Dedesuyu denilen su en büyük alametlerindendir. Yine her sene bir geyiğin gelip bu mezarı ziyaret ettiğine şahit olunmuştur.

Türbe restorasyonu 2010 yılında Kadıköy Muhtarlığı ve Kadıköy Sosyal Yardımlaşma Derneği tarafından hayırsever iş insanları ve köylülerin katkılarıyla yaptırılmıştır.