Mahmud Paşa, İstanbul'da 1853 yılında doğdu. Osmanlı Devleti'nde dört defa kaptan-ı deryâlık yapmış olan babası Damat Gürcü Halil Rifat Paşa'yı çok küçük yaşta kaybetti. Annesi onun ikinci eşi olan İsmet Hanımdır.
Mahmud Paşa, özel öğrenim görerek yetişti. Ardından çeşitli devlet memurluklarında bulundu. Paris konsolosluğunda iki yıl görev yaparak Fransızca dil eğitimini geliştirdi.
İlk evliliğini İffet Hanım'la yaptı. Mahmud Paşa'nın bu evliliğinden Rifat, Fuat ve Ali Bidar adında üç çocuğu oldu. 28 Aralık 1876'da Sultan Abdülaziz'in padişahlığı sırasında Osmanlı Sultanı Abdülmecit'in kızı Seniha Sultan ile evlendirildi. Bu evliliği sayesinde Osmanlı Hanedanı'na damat oldu. Bu evlilikten oğlu Prens Sabahattin ve Lütfullah Bey dünyaya geldi.
Abdülaziz'in devrilip II. Abdülhamid'in tahta geçmesinin ardından onun en yakınları arasına katıldı. 30 Mart 1877'de vezirlik rütbesi aldı. 18 Nisan 1878'de Adliye Nazırı olarak Mehmet Sadık Paşa kabinesinde görev aldı.
Damat Mahmud Celaleddin Paşa, nazırlığı sırasında Adliye nezaretinde yeni düzenlemeler yaptı. Padişahın cülusu nedeniyle çıkarılan genel affın kapsamını genişletti, cinayet suçundan müebbet hapse mahkûm olanların cezasının geçici kürek cezasına çevrilmesini ve cezasının üçte birini tamamlayanların tahliye edilmesini sağladı.
Nezaretin memur açığını kapadı. Yeni bir muhakeme usul kanunu onun nazırlığı döneminde düzenlendi ancak uygulamaya konulamadı.
Abdülhamit'i tahttan indirmek üzere örgütlendi ve Skelyeri-Aziz Bey komitesi ile ilişkisi olduğu gerekçesi ile birkaç ay sonra adliye nazırlığı görevinden alındı. Daha sonra bu komite ile bağlantısı olmadığı ortaya çıkınca kendisine Evkaf Nazırlığı ve Şura-yı Devlet üyeliği teklif edildi ancak bu görevleri kabul etmedi.
Mahmut Celaleddin Paşa, resmi bir görev almadığı bu dönemde konağını bir şiir encümeni haline getirdi. Âsaf mahlasıyla şiirler yazan Paşa, zamanının bir bölümünü oğullarının eğitimine ayırdı.
Devrin önde gelen isimlerini oğulları için hoca olarak görevlendirdi. Bir yandan da siyasetin durumunu yakından takip etti ve padişaha aktarmak üzer eleştiri ve önerilerini kaleme aldı.
1899 yılında II. Abdülhamit'e olan muhalefeti nedeniyle iki oğlu Prens Sabahattin ve Prens Lütfullah'la birlikte Avrupa'ya kaçtı. Marsilya'ya, oradan, Paris'e gitti. II. Abdülhamit yönetimine düşmanlık besleyen Jön Türkler tarafından karşılandı.
Bazı Jön Türkler'in hükümetle anlaşıp yurda dönmesinden sonra geride kalanlar arasında lider gibi görülmeye başladı. 1 Ocak 1900'de Meşveret'te yayımlanan ve gazetenin sahibi Ahmet Rıza Bey'e hitaben yazılmış Fransızca bir mektup göndererek, Jön Türkleri yüksek takdir hisleriyle karşıladığını belirtti.
Çeşitli gazetelerde padişaha yazdığı mektubu yayımlattı. Mektupta padişahı ve çevresindekileri ağır bir dille eleştirdi.
Cenevre'de çıkarılan Osmanlı Gazetesi'nin durumu ile ilgilenmek üzere oğulları ile Cenevre'ye gitti. İshak Sükûti, ona gazetenin tüm hak ve sorumlarını teslim etti. Paşa, 1 Nisan 1900'da Osmanlı Gazetesi'nde Abdülhamit Han'a hitaben yazdığı bayram tebriğinde çok ağır bir dille saraydaki bayram merasimini eleşirdi.
Prens Sabahaddin ve Lütfullah Beyler de sert ifadeli ikinci bir mektup yayımladılar. Saray, damadını yurda döndürmek için her yolu denedi ve sonunda paşanın mallarının zaptedildiğine dair haberler duyuldu. Paşa, bunu önemsemedi.
Masraflarını üstlendiği Osmanlı Gazetesi'ni Londra'da çıkarmak için oğulları ile 29 Mayıs 1900'de İngiltere'ye gitti ve 1 Temmuz 1900'den itibaren gazeteyi Londra'da yayımladı. İstanbul'a dönmesini talep eden saray ile arasında gittikçe sertleşen pazarlık ve yazışmalar gerçekleşti.
Paşa ve oğuları İstanbul hükümetinin baskıları sonucu Londra'dan da ayrıldı ve Mısır Hıdivi Abbas Hilmi Paşa'nın davetiyle Mısır'a gitti. Orada, Hoca Kadri Efendi''nin idare ettiği, "Kânûn-i 'Esâsî Gazetesi"nin çıkarılmasına yardım etti. Asâf mahlasıyla yazdığı şiirlerini toplayan Divanı 'yla, Tezkire-i ulemâ adlı eserini Kahire'de bastırdı.
Saray, paşayı geri döndürme çabalarına devam etti. Hidiv de paşa ve oğullarını İstanbul'a dönme konusunda ikna etmeye çalıştı.
Mısır Hidivi ile arası bozlulunca Mısır'dan ayrılarak Paris'e döndü. Paris havasına intibak edemediği için Korfu Adası'na gitmesi Yunan-Osmanlı ilişkilerinin gerginleşmesine sebep oldu. Paşa Korfu'da rahatsızlandı ve adadan ayrıldı.
Bütün Jön Türk gruplarını içine alan bir kongre düzenlemeye çalışan oğullarına destek verdi. I. Jön Türk Kongresi, 4 Şubat 1902'de Fransa'da gerçekleşti. Mahmud Paşa, kongrenin fahri önderi oldu.
Kışı geçirmesi için getirildiği Brüksel'de 17 Aralık 1903 yılında öldü.
II. Abdülhamid Han, cenazesinin İstanbul'a getirilmesini istese de oğulları ülkede Meşrutiyet rejimi ilan edilmedikçe onu geri vermeyeceklerini söyledi. Paşa'nın cenazesi Fransa'da Père Lachaise Mezarlığı'ndaki Türk kabristanına defnedildi.
Cenaze töreni Jön Türkler'in mitingine dönüştü; mezarın başında okunan konuşma metinleri Osmanlı Gazetesi'nde yayımlandı.
1908 yılında II. Meşrutiyet'in ilanı üzerine cenazesi törenle İstanbul'a getirildi.
Eyüp'te babasının mezarının da bulunduğu aile türbesine defnedildi.
