Nach den Befreiungskriegen kam K. in Garnison nach Mainz, wo er sich unter dem Einfluss Rüppells u. a. mit der Vogelkunde zu beschäftigen begann und das Leben der heimischen Vogelarten erforschte. Seit 1824 war er korrespondierendes Mitglied der SNG. Um sich ganz der Ornithologie widmen zu können, quittierte K. 1825 als Hauptmann seinen Dienst und nahm von 1826 bis 1829 an einer Weltumsegelung, einer russischen Expedition unter der Leitung von Kapitänleutnant Friedrich Benjamin von Lütke (1797-1882) auf der Korvette Senjawin, teil; einige der von K. auf der Reise beschriebenen Vogelarten (etwa das Kosrae-Sumpfhuhn und der Kosrae-Singstar, die er auf der mikronesischen Insel Kosrae entdeckte) sind heute ausgestorben. Unterwegs trennte sich K. 1828 vorübergehend von der russischen Expedition und erforschte eigenständig Kamtschatka; er sammelte dort für Rüppell insgesamt 77 Bälge von 38 Vogelarten (wovon zwölf Formen vorher unbekannt waren), die das Senckenbergmuseum erhielt. 1830 kam K. nach Ffm. und schloss sich von hier aus Rüppells zweiter Afrika-Expedition an, musste jedoch bald die Reise wegen Krankheit in Ägypten abbrechen. K. lebte dann in Köln (1832-45), Berlin (1845-48), Wiesbaden und schließlich seit 1849 in Mainz. Er hielt wissenschaftliche Vorträge in Mainz und Ffm. und erforschte die Vogelwelt Nassaus und des Rhein-Main-Gebiets. In seinen späteren Lebensjahren beschäftigte sich K. mit ästhetischen und philosophischen Studien.
Seine wissenschaftlichen Schriften zeigen K. nicht nur als anregenden Autor, sondern auch als hervorragenden Illustrator. Infolge von „Kränklichkeit“ (Ludwig Gebhardt), aber auch „übertriebener Gewissenhaftigkeit“ (Wilhelm Stricker) publizierte er allerdings seine Forschungsberichte oft erst sehr spät; so erschienen seine „Denkwürdigkeiten einer Reise nach dem russischen Amerika, nach Mikronesien und durch Kamtschatka“ (2 Bde., 1858, Neuaufl. 2011) rund 30 Jahre nach der Expedition und stießen daher, auch aufgrund inzwischen erschienener anderer Erstbeschreibungen, kaum noch auf Interesse. Weitere Veröffentlichungen, u. a. „Kupfertafeln zur Naturgeschichte der Vögel“ (3 Hefte, 1832-33), „Vierundzwanzig Vegetations-Ansichten von Küstenländern und Inseln des Stillen Oceans“ (1844-45/54) sowie Aufsätze in naturwissenschaftlichen Zeitschriften wie „Isis“, „Museum Senckenbergianum“ und „Die Natur“.
Rüppell widmete ihm seine „Systematische Übersicht der Vögel Nord-Ost-Afrikas“ (1845).
Ornithologisches Tagebuch (4 Bände, illustriert mit Aquarellen, 1816-23) im Besitz der Stadtbibliothek Mainz.
Einige von K. entdeckte Vögel tragen seinen Namen, u. a. der von ihm 1831 in Ägypten erstmals gesichtete Hirtenregenpfeifer, der im Englischen „Kittlitz’s (Sand) Plover“ heißt, und der Kittlitzbrillenvogel.