Der Handwerkersohn besuchte die Schule in Waltershausen und wechselte 1703 nach Ffm., wo er als Kapellknabe (Diskantist) in die von Johann Heinrich Christan (1692-1711) geleitete Kapelle eintrat. In einem 1728 verfassten Gesuch um Erhalt des Ffter Bürgerrechts gibt K. an, 25 Jahre bei der hiesigen Kapelle gedient zu haben. 1712/13 war er Mitglied der städtischen Kapelle unter Telemanns Leitung, die für die Gottesdienste in der Barfüßer- und der Katharinenkirche zuständig war; er spielte Cello und sang Bass. 1717 Heirat in Ffm.; für das erste Kind Georg Philipp (* 1718) übernahm Georg Philipp Telemann die Patenschaft. Nach dem Weggang Telemanns nach Hamburg ernannte der Rat 1721 Johann Christoph Bodinus zum Kapelldirektor der Barfüßerkirche und K. zum Kapellmeister der Katharinenkirche. Erst nach dem Tod von Bodinus (1727) erhielt K. 1729 zusätzlich die Kapellmeisterstelle an der Barfüßerkirche und war nun, wie früher Telemann, für die Musik an beiden Kirchen zuständig. Er führte hauptsächlich die Kantatenjahrgänge Telemanns auf, komponierte aber auch eigene Kirchenkantaten und etliche Gelegenheitsmusiken, darunter einige Hochzeitskantaten sowie Trauer- und Freudenmusiken in Verbindung mit dem Kaiserhaus (vgl. die überlieferte Aufstellung von K. in den Ratssupplikationen). Außerdem betätigte er sich mit dem Vize-Kapellmeister Heinrich Valentin Beck als Konzertveranstalter. K., der seit dem 24.3.1728 das Ffter Bürgerrecht besaß, blieb bis zu seinem Tod im Amt.
Herausgeber des „Harmonischen Lieder-Schatzes“ (1738, Nachdr. 2004), einer Choralsammlung mit zahlreichen eigenen Kompositionen, die insgesamt 1.913 Melodien enthält und damit das reichhaltigste Choralbuch des 18. Jahrhunderts ist.
Viele Kantaten K.s wurden ursprünglich Telemann zugeschrieben; eine quellenkritische Klärung der Autorschaft steht jedoch noch aus.