Abdul Rauf Ibrahimi, 1962 yılında kuzey Kunduz Eyaletinin İmam Sahib semtinde doğdu ve İbrahims Klanının bir üyesidir. İlköğrenimini İmam Şebib Mahallesi'ndeki Basus Ortaokulu'nda tamamladı ve daha sonra Kunduz, Takharistan'da 12. sınıfa kadar bir medresede okudu.

1979 yılında lise eğitimini tamamladıktan sonra Kabil Üniversitesi Dil ve Edebiyat Fakültesine kabul edildi. Sovyetler Birliği Afganistan'ı işgal ettiğinde Hizb-i İslam mücahit grubuna katıldı. Mücahidin zaferinin ardından 1993 yılında Şir Khan Kuru Liman müdürü olarak atandı. Ardından 3. güney sınır polis bölgesi komutanlığına atandı. Taliban rejiminin çöküşünden sonra 2002 yılında sınır polisi komutanı olarak çalıştı ve aynı yıl Acil Durum Loya Jirga üyesi seçildi.

Ibrahimi, 2005 yılında Kunduz'dan Wolesi Jirga (alt meclis) üyesi seçildi. 2010 yılında Wolesi Jirga'nın başkanı seçildiğinde ikinci kez meclis koltuğunu kazandı. Lisans derecesini Kabil Üniversitesi Edebiyat Fakültesi Arapça Bölümü'nde aldı