Cem Karaca 1 Ocak 1945 senesinde İstanbul'da dünyaya geldi. Azeri asıllı bir baba ve Ermeni bir annenin çocuğudur. Okul yıllarında özellikle Rock müziğine karşı büyük bir hayranlık duyuyordu ve arkadaşlarıyla toplanarak bir müzik grubu kurdu. O dönemin ünlü sanatçılarından biri olan İlham Gencer de Cem Karaca'ya ve ekibine büyük destek verdi. Babası Karaca'nın müzikle ilgilenmesinden büyük rahatsızlık duyuyordu. Hatta adam tutarak kendi oğlunu konserinde yuhalatmıştır. Buna rağmen müzik sevdasından vazgeçirememiştir.
Daha sonra askere giden Karaca'nın hayatı büyük bir anlamda değişti. Cem Karaca, asker arkadaşının çaldığı bağlama sayesinde bir zamanlar ilkel bulduğu müziğe kendi duygularını da katarak yeni bir anlam yükledi ve Anadolu Rock müziğinin öncüsü oldu. Ünlü sanatçı yaşamı boyunca Apaşlar, Kardaşlar, Moğollar, Dervişan gibi pek çok önemli grubun içerisinde yer aldı.
1961 senesinde Hamlet'te oynayarak tiyatroya ilk adımını attı. 1964 senesinde Münir Özkul'un oynadığı General Çöpçatan oyunu ilk büyük tiyatro çalışması oldu. 1965 senesinde askerliği sırasında askeriyede Cahit Atay'ın Pusuda ve Aziz Nesin'in Toroslar Canavarı oyununu yönetti ve oynadı. Aynı dönem İstanbul Tiyatrosu'nda sergilenen "Anahtarı Bendedir" isimli oyunu Türkçeye çevirerek oynadı. Cem Karaca, 1970 senesinde ilk ve tek başrol filmi olan Kralların Öfkesi'nde oynadı. Yücel Uçanoğlu'nun yazıp yönettiği yerli western tarzı bu filmde Murat Soydan ile başrolü oynayan Karaca, Camgöz isimli bir kovboyu canlandırdı. 1999 senesinde de Kahpe Bizans adlı sinema filminde Karaca Abdal isimli bir karakteri oynadı. Aynı zamanda filmin müziklerinden bazılarını kendisi besteledi. Bunun dışında 2001 senesinde Yeni Hayat isimli dizide misafir olarak yer aldı. Aynı yıl Avcı isimli dizide Dem Baba rolünü oynadı.
Cem Karaca ilk evliliğini 22 Aralık 1965 senesinde tiyatro sanatçısı olan Semra Özgür ile yaptı. Ancak bu birliktelik fazla uzun sürmedi. Karaca 1968 senesinin sonunda yine bir tiyatro sanatçısı olan Meriç Başaran ile ikinci evliliğini yaptı. Bu evlilik yanlızca 2 sene sürdü. Üçüncü evliliğini Feride Balkan ile 21 Ağustos 1972 tarihinde yaptı. 1976'da çiftin oğulları Emrah Karaca dünyaya geldi. Çift, Cem Karaca'nın Almanya'da zorunlu yaşama döneminde ayrıldı. 5 Temmuz 1993 tarihinde Cem Karaca, dördüncü evliliğini ilk eşi Semra Özgür ile yaptı. Cem Karaca'nın son evliliği ise İlkim Erkan ile oldu.
Cem Karaca 8 Şubat 2004 sabahı, solunum ve kalp yetmezliği sonucu geçirdiği kalp krizi yüzünden Bakırköy Acıbadem Hastanesi'nde yaşamını yitirdi. Ölümünün ardından Karacaahmet Mezarlığı'nda yapılan törenle babası ile aynı mezara defnedildi.