Ali Haydar Konca, 1 Şubat 1950'de Muş'un Varto ilçesinde dünyaya geldi.
Ankara Üniversitesi Hukuk Fakültesi'ni bitirdi. Elazığ'da Maiyet Memurluğu'nda çalıştı. 12 Eylül 1980 Askeri Darbesi'ne kadar olan süre zarfında pek çok şehirde kaymakamlık vazifesinde bulundu. 1989 senesinde yapılan Türkiye yerel seçimlerinde Sosyaldemokrat Halkçı Parti'den belediye meclis üyesi seçildi. Daha sonra Halkların Demokratik Partisi'nden 25. Dönem Kocaeli milletvekili oldu. 2015 senesinde yapılan seçimlerde Avrupa Birliği Bakanı olarak atandı, 22 Eylül 2015'de ise görevinden istifa etti.