Çumra'nın Apa köyünde doğdu. İlk tahsilini köyde tamamladıktan sonra, Konya İmam-Hatip okuluna kaydolan Küçük, buradan 1972 yılında mezun oldu. Üç yıl Çumra Merkez Kur'an Kursu'nda Kur'an Kursu öğreticiliği yaptı.

Selçuk Üniversitesi Sosyal Bilimler Bölümü'nden mezun olduktan sonra, aynı üniversitenin İlahiyat Fakültesi'ni bitiren Ali Küçük, 6 yıl kadar Avrupa'da Din görevlisi olarak çalıştı. Daha sonra Konya'da pek çok vakıf, dernek ve sosyal gönüllü kuruluşlar bünyesinde çalışmalarına devam etti. Ribat, İlk Adım dergileri ve Vahdet gazetesinde yazıları yayınlandı.

6 çocuk babası olan ve iyi derecede Almanca, Fransızca, Arapça bilen Ali Küçük, 5 Kasım 2017 tarihinde vefat etti.