Sohn des Vorsängers Michael Lazarus G. (ca. 1756-1823) und dessen Ehefrau Rösgen, geb. Wallau (1768-1856). Vater von Berthold und Ludwig G.
Erhielt seit seinem vierten Lebensjahr Privatunterricht in der hebräischen Sprache und der jüdischen Religion, zunächst bei seinem Vater und bei seinem älteren Bruder Salomon G. Später gefördert von Rabbi Ahron Fuld und Wolf Heidenheim. Beeinflusst durch die Lehren Johlsons und Michael Creizenachs. Nachdem G. die für das Studium der jüdischen Theologie erforderlichen rabbinischen Kenntnisse erworben hatte, bezog er 1829 für ein Semester die Universität Heidelberg, dann bis 1832 die Universität Bonn zum Studium der Philosophie, der Orientalistik sowie der semitischen und arabischen Sprachen. Von 1832 bis 1838 Rabbiner und Dozent in Wiesbaden. Seit 1839 Rabbiner in Breslau. 1863 als Nachfolger Leopold Steins berufen, wirkte G. bis 1869 als Rabbiner der liberalen Hauptsynagoge in Ffm. Er verfolgte seinen bereits in Breslau gefassten Plan zur Gründung einer Hochschule für jüdische Wissenschaften in Ffm. weiter und erhoffte sich dafür die Unterstützung der Rothschilds. Er versuchte, den Rat der Stadt und 1866 auch Patow für die Gründung einer Universität in Ffm. zu gewinnen (möglicherweise als Ersatz für die Universität Marburg, deren Schließung beabsichtigt war), die dann eine jüdisch-theologische Fakultät beinhalten sollte. Da alle seine Bemühungen in dieser Richtung erfolglos blieben, nahm G. einen Ruf nach Berlin gern an, weil er sich dort bessere Chancen zur Verwirklichung seiner Pläne ausrechnete. Tatsächlich gelang ihm in Berlin, wo er seit 1870 bis zu seinem Tod Rabbiner war, die Gründung der „Hochschule für die Wissenschaft des Judenthums“ (eröffnet 1872), an der er selbst als Dozent wirkte.
G. wird als der bedeutendste jüdische Theologe liberaler Prägung des 19. Jahrhunderts in Deutschland angesehen. Als Führer des Reformjudentums gehörte er allerdings einer gemäßigten Richtung an, weshalb er Gegner des radikalen Ffter Reform-Vereins war. G. vertrat eine Entwicklung des Judentums und war somit für Reformen der Gebräuche unter Beibehaltung des historischen Kerns des Judentums. Mitglied der Deutschen Morgenländischen Gesellschaft. Jugendbekanntschaft mit Samson Raphael Hirsch, der später als Vertreter der orthodoxen Richtung sein schärfster Gegner wurde. Befreundet mit Jakob Auerbach und Raphael Kirchheim.
Mitbegründer der Wissenschaft des Judentums. Umfangreiche Forschungen auf diesem Gebiet, u. a. zu Bibel, Mischna, der jüdischen Literatur des Mittelalters und der hebräischen Sprache.
Zahlreiche Schriften, darunter seine Hauptwerke „Urschrift und Übersetzungen der Bibel in ihrer Abhängigkeit von der inneren Entwicklung des Judenthums“ (1857) und „Vorlesungen über das Judenthum und seine Geschichte“ (3 Bde., 1864/71).
Gründer und Herausgeber der „Wissenschaftlichen Zeitschrift für jüdische Theologie“ (1835-47) und der „Jüdischen Zeitschrift für Wissenschaft und Leben“ (1862-75).
Eine Biographie G.s (1910) wurde von seinem Sohn Ludwig G. verfasst.