Haşimi Rafsancani fakir bir fıstık-çiftçisi ailenin çocuğu olarak İran'ın Kirman Eyaleti'nin Refsencan şehrinde 25 Ağustos 1934 tarihinde dünyaya geldi.
Haşimi Rafsancani 1948'de din eğitimini sürdürmek için Şiilerin kutsal kenti Kum'a gitti. 1958'de Ruhullah Humeyni'nin müridi oldu; zamanla Şiiler arasında ayetullah'lıktan sonraki en yüksek ikinci derece olan hüccetülislam mertebesine yükseldi. Humeyni gibi o da Şah Muhammed Rıza Pehlevi'nin modernleşme programına karşı çıktı. Humeyni 1964 yılında sürgüne gönderilince ülkede Humeyni için yardım toplayanların önderliğini üstlendi. 1975-78 arasında solcu teröristlerle ilişkisi olduğu ileri sürülerek yargılandı ve hapis cezasına çarptırıldı.
Şahın devrilmesinden sonra 1979'da Humeyni İran'a dönünce onun önde gelen yardımcılarından biri oldu. İslami Cumhuriyetçi Parti'nin kuruluşunda önemli rol oynadı. Devrim Konseyi'nde görev aldı. Devrimin ilk yıllarında içişleri bakanlığını üstlendi. 1980'de meclise seçildi ve meclis başkanlığına getirildi. Dokuz yıl boyunca meclis başkanı olarak görev yaptı ve zamanla İran'ın ikinci güçlü kişisi konumuna geldi. İran-Irak Savaşı (1980-1988) sırasında etkili rol oynadı.Ağustos 1988'de savaşı sona erdiren ateşkesi kabul etmesi için Humeyni'yi ikna etti.
Haziran 1989'da Humeyni'nin ölümünden sonra temmuzda oy çoğunluğuyla İran cumhurbaşkanı seçildi. Daha önce pek etkili olamayan yürütme organının yetkilerini artırarak güçlendi. Pragmatik bir politika izleyerek sertlik yanlısı İslamcılara karşı başarı kazandı. İran'ın uluslararası ilişkilerde yalnızlığa itilmesini önlemeye çalıştı. Savaştan çıkan ülke ekonomisini canlandırmak için yabancı sermaye yatırımlarından ve özel girişimden yararlanmak stratejisine uygun olarak, Avrupa'yla ilişkileri yenilemeye çalıştı. 1993'te, oy oranı düşmekle birlikte, yeniden cumhurbaşkanı seçildi.
2005 yılındaki cumhurbaşkanlığı seçimlerinde ilk turda daha fazla oy almasına rağmen, ikinci turdaki rakibi Mahmud Ahmedinejad'e yenildi. İran İslam Cumhuriyeti Düzenin Yararını Teşhis Konseyi Başkanlığını yürütmekte iken, 8 Ocak 2017 tarihinde kalp krizi sonucu hayatını kaybetti.
