İsmet Yılmaz, 10 Aralık 1961 tarihinde Turunç ve İbrahim çiftinin beş çocuğundan biri olarak Sivas'ın Gürün ilçesinde doğdu.
İlkokulu Gürün Cumhuriyet İlkokulunda, ortaokulu Gürün Ortaokulunda tamamladı.
Haydarpaşa Lisesi'nden mezun oluşunun ardından İstanbul Teknik Üniversitesi Denizcilik Fakültesi Denizcilik Yüksek Okulu 4 yıllık makine bölümünü 1982 yılında, İstanbul Üniversitesi Hukuk Fakültesi'ni 1987 yılında bitirdi.
1990 yılında Malmö'de bulunan Dünya Denizcilik Üniversitesi'nde Master derecesini "Gemi İşletmeleri Teknik Yönetimi" alanında yaptı.
Mezun oluşunun ardından 20 yıl kamuda ve özel şirketlerde Denizcilik sektöründe Mühendis ve Müşavir Avukat olarak hizmet verdi.
31 Aralık 2002–8 Mayıs 2007 tarihleri arasında Denizcilik Müsteşarlığında Müsteşar olarak görev yaptı.
Türk Telekom Yönetim Kurulu Başkan Vekilliği görevini yürüttü.
Türkiye Cumhuriyeti Anayasası'nın 114. maddesi gereği Ulaştırma Bakanı istifa edince 22 Temmuz tarihinde yapılan 2007 Türkiye genel seçimleri öncesi bir süre tarafsız Ulaştırma Bakanı olarak görev yaptı.
31 Ekim 2007 tarihinden itibaren de Kültür ve Turizm Bakanlığı Müsteşarı görevine başladı.
Adalet ve Kalkınma Partisi'nden (AK Parti) milletvekili olan Ertuğrul Günay'ın bakanlığı döneminde müsteşarlığını yaptı.
2011 Türkiye genel seçimleri öncesinde görevinden istifa etti ve AK Parti Sivas milletvekili adayı oldu ve ilk defa partisinin seçim zaferiyle meclise girdi.
Recep Tayyip Erdoğan tarafından 2011 yılında kurulan 61. Türkiye Hükûmeti'nde Millî Savunma Bakanı olarak yer aldı.
Erdoğan'ın 2014 Türkiye cumhurbaşkanlığı seçimi'nde cumhurbaşkanı seçilmesinden sonra Ahmet Davutoğlu tarafından kurulan 62. Türkiye Hükûmeti'nde de bu görevine devam etti.
Haziran 2015 Türkiye genel seçimleri'nde hiçbir parti tek başına iktidar olmak için gereken sandalye sayısına ulaşamayınca ve koalisyon görüşmelerinden bir sonuç alınamayınca erken seçim kararı alındı.
Davutoğlu başkanlığında kurulan seçim hükümetinde yer almadı.
Yılmaz, Haziran-Temmuz 2015 TBMM Başkanlığı seçimi'nde AK Parti'nin Türkiye Büyük Millet Meclisi Başkan adayı oldu.
Son turda Yılmaz 258 oy alarak Meclis Başkanı seçildi. Cumhuriyet Halk Partisi'nin adayı Deniz Baykal 182 oy alarak ikinci sırada kaldı.
Meclis Başkanlığı görevini 17 Kasım 2015 tarihine kadar sürdürdü.
Kasım 2015 Türkiye genel seçimleri'nde tekrar AK Parti Sivas milletvekili olarak meclise girdi. Ahmet Davutoğlu tarafından kurulan 64. Türkiye Hükûmeti'nde tekrar Millî Savunma Bakanı olarak yer aldı.
Davutoğlu'nun istifa etmesinin ardından Binali Yıldırım tarafından 24 Mayıs 2016 tarihinde kurulan 65. Türkiye Hükûmeti'nde Millî Eğitim Bakanı olarak yer aldı.
Millî Eğitim Bakanlığı'nın isminin Maarif Bakanlığı olarak değiştirilmesi gerektiğini savunan Yılmaz'ın bakanlığı döneminde Şırnak, Nusaybin, Cizre, Sur, Yüksekova gibi il ve ilçelerde öğrencilere destekleme kursları verilmiştir.
Bakanlığı döneminde, Türkiye PISA sınavlarında son 15 yılın en düşük düzeyine inmiş ve 72 ülke arasında 50. sıraya gerilemiştir.
Evli ve 3 çocuk babası olan Yılmaz, İngilizce bilmektedir.