Köy, adını, kuzeydoğusunda bulunan Koçbaba kayası'ndan alır. Eski adı Gabonduruk 'tur.Yaklaşık 200 yıl önce kurulmuştur.Zaza dilinde "Ga", "öküz","bonduruk",öküzlerin kağnıya koşulmaları için kullanılan araçtır. 200 yıl önce buraya gelenler ağaçlardan daha ileri gidemediklerinden buraya yerleşmişler.köyün ismide öküzlerin boyunduruğuna ağaçların takılıp daha ileri gidemediklerinden dolayı Gabonduruk olarak kalmıştır.Yeni ismi "Koçbaba "ise koç katımı sırasında köyün girişindeki bir tepenin ortalarında bulunan bir kayanın içinden bir koç çıkıp sürüye katıldığı ile ilgili bir efsane den gelmedir.
