R. stammte aus einer jüdischen Kaufmannsfamilie.
Besuch der Realschule der von Samson Raphael Hirsch begründeten Israelitischen Religionsgesellschaft. Anschließend ab 1886 Banklehre. Seit 1894 Volontariat bei der Ffter Verlags- und Sortimentsbuchhandlung „Carl Jügel Nachfolger“. 1895 Gründung des Verlags „J. Rosenheim“ in der Königswarterstraße, später in der Großen Eschenheimer Straße. Seit 1906 gab R. die ursprünglich in Mainz erschienene Zeitschrift „Der Israelit“ in seinem eigenen Verlag heraus.
Seit 1908 strebte R. die Gründung einer Weltorganisation des orthodoxen Judentums an. 1912 gehörte er zu den Begründern der in Kattowitz ins Leben gerufenen „Agudath Israel“. Diese Organisation der Weltorthodoxie hatte für einige Jahre ihr Zentralbüro in Ffm. Von 1929 bis zu seinem Tod war R. Präsident von „Agudath Israel“.
R. nahm regen Anteil am jüdischen kulturellen und religiösen Leben in Ffm. Seit 1915 war er Erster Vorsitzender der Israelitischen Religionsgesellschaft und gehörte gleichzeitig dem Schulrat der Realschule der Gesellschaft an. Als Vorsitzender bestimmte er maßgeblich den geistigen Kurs der Israelitischen Religionsgesellschaft in der Auseinandersetzung mit der Ffter Israelitischen Gemeinde und deren konservativem Flügel. Er war Vorstandsmitglied der Freien Vereinigung für die Interessen des orthodoxen Judentums und war für das jüdische Volksschrift-Verlagswesen tätig. Mitbegründer des orthodoxen Beth-Jakob-Schulsystems.
R. emigrierte 1935 nach England, 1941 in die USA. Seit 1949 lebte er in Israel.
Zahlreiche Abhandlungen im „Israelit“, u. a. „Beiträge zur Orientierung im jüdischen Geistesleben der Gegenwart“ (1920) und „Abrahamitisches und mosaisches Judentum“ (1924).
Verfasste Erinnerungen an die Jahre 1870 bis 1920 (hg. v. Heinrich Eisemann und Herbert N. Kruskal, 1970).
Als prägender Persönlichkeit des Judentums wurde R., der sich mehr und mehr dem Zionismus annäherte, 1929 der Ehrentitel „Morenu Harav“ (unser Lehrer, der Rabbi) verliehen.