1950 yılında Kızılcahamam`a bağlı Saraycık köyünde doğdu. ilköokulu aynı köyde, ortaokulu Kızılcahamam`da ve liseyi de Ankara`da bitirdi. Lise öğreniminden sonra askere giden Yılmaz, askerlik dönüşü 1973 yılında T.C.K. 4. Bölge Müdürlüğü`nde işe başladı. 1982 yılında aynı kurumda Akköprü Atelye Müdürlüğü`nde makine eğitim öğretmeni olarak işe başlayan Yılmaz, 1989 yılında T.Yol-İş Sendikası Ankara 1 No.lu Şube Başkanlığı`na seçildi. Temmuz 2007`de yapılan Yol-İş Sendikası 8. Olağan Genel Kurulu`na kadar bu görevi sürdüren Yılmaz, Genel Kurulda Yol-İş Sendikası Genel Başkan Yardımcılığı görevine seçildi.
Kemal Yılmaz evli ve üç çocuk babasıdır.
Kemal Yılmaz evli ve üç çocuk babasıdır.