Cevdet Yılmaz, 20 Haziran 1973 yılında Bingöl'de doğdu.
Orta Doğu Teknik Üniversitesi Kamu Yönetimi Bölümü'nden mezun olduktan sonra ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde yüksek lisansını, Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde ise doktorasını tamamladı.
Başbakanlık Devlet Planlama Teşkilatı Müsteşarlığı'nda planlama uzman yardımcısı, Devlet Planlama Teşkilatı AB ile İlişkiler Genel Müdürlüğü görevlerinde bulundu.
23 ve 24. dönemlerde Bingöl, 25. dönemde Diyarbakır ve 26. dönemde tekrar AK Parti Bingöl Milletvekili seçilen Yılmaz, Türkiye-AB Karma Parlamento Komisyonu Üyesi, Devlet Bakanı, Kalkınma Bakanı, Başbakan Yardımcılığı görevlerini üstlendi.
AK Parti Ekonomi İşleri'nden sorumlu Genel Başkan Yardımcısıdır.
Cevdet Yılmaz, çok iyi düzeyde İngilizce bilmekte olup evli ve iki çocuk babasıdır.