H. stammte aus einer polnisch-jüdischen Familie, die Generationen bedeutender chassidischer Rabbiner hervorgebracht hat. Er war der jüngste von sechs Geschwistern.
Nach dem Besuch des jüdischen Realgymnasiums in Wilna (heute: Vilnius) ging H. 1927 nach Berlin, um an der Universität Philosophie, Kunstgeschichte und semitische Philologie zu studieren. Überdies belegte er an der Hochschule für Wissenschaft des Judentums ein rabbinisches Seminar und unterrichtete selbst Talmud. 1933 promovierte er mit einer Arbeit über prophetisches Bewusstsein in der hebräischen Bibel, die erst 1936 bei der Polnisch-Wissenschaftlichen Akademie von Krakau erscheinen konnte. Sein erstes Buch, eine Biographie über Maimonides (1934), wurde wegen seiner Gelehrsamkeit und literarischen Qualitäten weithin gelobt.
Im November 1933 hatte Martin Buber das nach dem frühen Tod des Gründers Franz Rosenzweig geschlossene Freie Jüdische Lehrhaus in Ffm. wiedereröffnet. Es sollte dazu dienen, assimilierte Juden in klassische Texte einzuführen und das Judentum als Lebensweise wiederherzustellen. Buber beschloss, H. eine verantwortliche Position am Lehrhaus anzubieten. Am 1.3.1937 zog H. von Berlin nach Ffm., um Buber bei der Organisation und Programmplanung zu unterstützen. Vor dessen Auswanderung nach Palästina (13.3.1938) half er ihm, modernes Hebräisch zu lernen. H. mietete zuerst ein Zimmer bei der orthodoxen Familie Simon in der Hansaallee 5, nahe der orthodoxen Synagoge Unterlindau 23; ab Juli 1937 hatte er Räume in der großen Wohnung der Familie Adler in der Adelheidstraße 11 in Eschersheim (vgl. Kaplan/Dresner: Abraham Joshua Heschel 1998, S. 246, 254; Heschel: In This Hour 2019, S. XIII).
Nachdem H. das Lehrhaus ein Jahr geleitet hatte, wurde er am 28.10.1938 in seiner Wohnung von zwei Gestapomännern verhaftet und am nächsten Morgen zusammen mit Hunderten anderer polnischer Juden in einem versiegelten und bewachten Zug nach Polen deportiert. In Warschau gelang es ihm, ein Visum für die USA zu erhalten. Nach einem Aufenthalt in London konnte er im März 1940 in die USA einreisen, wo er bis zu seinem Tod lebte und arbeitete. Obwohl man H. nach dem Zweiten Weltkrieg mehrfach einlud, kehrte er nie nach Deutschland oder Polen zurück, und er schrieb kein Wort mehr auf Deutsch. Seine Mutter und drei Schwestern waren während des Holocaust von den Nazis ermordet worden; außer ihm hatten sein Bruder und eine Schwester mit ihren Familien überlebt.
H. engagierte sich an der Seite von Martin Luther King (1929-1968) in der amerikanischen Bürgerrechtsbewegung. Er war überzeugt, dass Rassismus „ein Übel von erschreckender Macht“ sei („Religion und Rasse“, Vortrag in Chicago, 1963), und hielt Gleichgültigkeit gegenüber dem Bösen für gefährlicher als das Böse selbst.