Günümüzde İstanbul Ticaret Odası ile Galata (Karaköy) köprüsü arasındaki Haliç kıyısında yakın zamana kadar Yemiş İskelesi adıyla anılan yerde bulunmaktadır.Buraya adını veren Câfer rivayete göre Hz. Peygamber soyundan gelmektedir ve Abbâsî Halifesi Hârûnürreşîd tarafından Bizans İmparatorluğu’na elçi olarak gönderilmiştir.Câfer, İstanbul’da bulunan Araplar’la Rumlar arasındaki çarpışmalarda ölen müslümanların naaşlarının sokak aralarında kalmasına çok üzülerek devrin imparatoru Nikephoros’a sert bir dille çatınca zindana atılmış, daha sonra da öldürülerek mahpus bulunduğu burcun altına gömülmüştür.
Bir başka rivayete göre ise Şeyh Zindânî Abdurraûf Samedânî adlı bir kişi İstanbul’un fethinde bulunmuş ve onun girdiği kapıya Zindan Kapısı denilmiştir. Seyyid Baba Câfer’in torunlarından olduğu iddia edilen Zindânî Abdurraûf yıllarca ceddinin türbedarlığını yapmış ve ölünce buraya gömülmüştür.İstanbul’un fethinden sonra yeniçeriler bu kapıya, mensubu bulundukları Bektaşîlik geleneklerine uygun olarak muhtemelen Bâb-ı Câfer’den bozma Baba Câfer demişlerdir. Câfer’in türbesinin üst kısmında bulunan hapishaneye de Baba Câfer Zindanı adı verilmiştir. Buraya sivil ve bazan da asker, özellikle yeniçeri zümresinden katil, hırsız, borç ve zina hükümlüleri gibi âdi suçlular atılırdı.Hapishanede ayrıca hırsızlık yapan veya zina eden kadın suçlular için de bir bölüm vardı. Hatta XIX. yüzyılda bir ara burası bütünüyle kadınlara tahsis edilmişti. Zindanda Rum, Ermeni ve yahudi gibi azınlıklar için de ayrı ayrı koğuşlar mevcuttu.
Buraya giren mahpuslar serbest bırakılırken kendilerinden harç adı altında 18 para ve dilekçi akçesi olarak da 2 para alınırdı. Ancak daha sonraları kilim, keçe vb. mefruşat getirenlerden yatak akçesi adıyla ücret alınmıştır.Bu zindana atılanların bakımı için devlet hazinesinden hiç bir harcama yapılmazdı. Mahkumlar her gün zindanın penceresinden kendilerine yardım edilmesi için gelip geçene seslenirlerdi.İsteyenler mahpuslara para yardımında bulunurlardı. Toplanan yardımlarla mahkumlara günde bir paralık ekmek ve çorba, geceleri de birer mum verilirdi. İstanbul halkı buradaki mahkumlara yardım etmeyi sevap sayardı. Adak kurbanları da buraya gönderilirdi. Ancak, sonraları, suistimaller başgösterdi (1766). Zindan katipleri toplanan sadaka ve adak paralarını zimmetlerine geçirdiler.Zindana yatak, yorgan gibi eşya getirmek isteyen hükümlü ise bir altın kadar para vermek zorundaydı. Bu parayı ödemeyenler taş üstünde yatardı. Af ya da tahliye emri gelenlerden ise, zindan görevlileri alabildiklerini alırlardı.
Subaşılar tarafından yakalanan hırsız ve yankesiciler, olay yargı mercderine intikal etmemişse, rüşvet karşılığında bir kaç gün sonra serbest bırakılırlardı. Zindan görevlilerine para yedirebilecek güçte olan mahkumlara iyi davranılır, durumu iyi olup da rüşvet vermeyenlere eziyet edilirdi. Yeterli rüşvet verenlere ise affedilmeleri için sahte “şefaatnameler” düzenlenirdi.Mahpusların iâşesi için devletçe herhangi bir ödenek ayrılmaz, mahkûmlar bazı hayır sahiplerinin sadaka ve adak gibi yardımlarıyla geçinirlerdi. Zaman zaman gerek bu bağışlar gerekse buraya düşen bazı zenginlerin verdiği rüşvetler yüzünden zindan kâtipleri ve subaşılar arasında anlaşmazlıklar, hatta kavgalar çıktığından 1766’da bazı tedbirlerin alınmasına ihtiyaç duyuldu.
Buna göre İstanbul kadılığı tarafından zindana tecrübeli ve dürüst bir subaşı tayin edilecek, mahkûmlardan kesinlikle para alınmayacak, hayır sahiplerinin yaptığı aynî ve nakdî yardımlar Baba Câfer türbedarı, mütevelli ve zindan subaşısı nezâretinde muhafaza edilecek ve İstanbul kadısı dört ayda bir hesapları kontrol edecekti. Subaşı mahpusların yiyeceklerinden, serbest bırakılan bir mahkûmdan 20 akçeden fazla harç alınmamasına kadar zindanın her işinden sorumluydu.
Mahpuslara hiçbir şekilde eziyet edilmeyecek, herhangi bir suistimali görülen subaşı cezalandırılacaktı. Zindan bekçiliğinden ise asesbaşı*lar sorumluydu. İstanbul bazı isyan hareketlerine sahne olduğu zamanlarda âsiler tarafından öteki hapishanelerdeki mahpuslarla birlikte buradakiler de salıverilir, böylece isyancılar taze güç kazanırlardı.
Yeniçeri Ocağı’nın kaldırılmasından sonra ocakla ilgili her şey ilga edilirken Bektaşîliği hatırlatan Baba Câfer Kapısı yerine Bâb-ı Câfer veya Hazret-i Câfer Kapısı, inşa edilecek karakola da Bâb-ı Câfer Karakolhânesi denilmesi hakkında II. Mahmud’un bir fermanı çıkmışsa da yeni isimler pek tutunmamıştır. Bu dönemde hapishane Sultanahmet’teki Tabhâne’ye nakledilince burası kısmen karakol, kısmen de esnaf ve tüccar için ticarethane olarak kullanılmıştır.
