Dreizehntes von 16 Kindern des späteren Kaisers Leopold II. (1747-1792) und dessen Gattin Maria Ludovica von Spanien (1745-1792).
J. wuchs in seinen ersten Lebensjahren am elterlichen Hof in Florenz auf, wo eine Nähe zum Florentiner Bürgertum und den Ideen der Aufklärung gepflegt wurde. Nach dem Tod von Kaiser Joseph II. (1741-1790) wurde J.s Vater, Großherzog Leopold von Toskana, als ältester Bruder des verstorbenen Monarchen dessen Nachfolger in der Habsburgermonarchie und schließlich durch Wahl zum römisch-deutschen Kaiser Leopold II. Die Familie zog nach Wien um, wo die Erziehung in strengerer Form, aber unter Beibehaltung einiger Grundsätze der Aufklärung fortgesetzt wurde. Entscheidenden Einfluss auf J. hatte der Schweizer Historiker Johannes von Müller (1752-1809), ein Vertreter einer patriotisch geprägten Geschichtsschreibung. Auffällig war bei J. außerdem seine Aufgeschlossenheit für die Technik der beginnenden Industrialisierung. Durch seine militärische Unerfahrenheit erlitt er als Befehlshaber im Zweiten Koalitionskrieg vernichtende Niederlagen gegen das revolutionäre Frankreich, weshalb er 1805 mit dem defensiv ausgerichteten Genie- und Befestigungswesen beauftragt wurde. J. baute die Landwehr in den Alpengebieten der Monarchie aus und entwickelte erste Pläne, sich in Tirol niederzulassen, um dort seine Vorstellungen in der Landwirtschaft und im Unternehmertum umzusetzen. Er hatte bedeutenden Anteil an der Koordination des Tiroler Aufstands von 1809 gegen die bayerisch-französische Herrschaft, konnte aber auch hier keine militärischen Erfolge erzielen. Da er als Konsequenz Tirol nicht mehr betreten durfte, zog sich J. in die Steiermark zurück, wo er fortan als Förderer des Bildungswesens (Gründung des Landesmuseums Joanneum), der Land- und Forstwirtschaft, des Bergbaus sowie der Infrastruktur wirkte. Die Beschlüsse des Wiener Kongresses waren für ihn eine unbefriedigende Lösung der deutschen Verhältnisse, da er sich der Idee des Alten Reichs verbunden sah.
Zu der im Vormärz einsetzenden Verklärung des Erzherzogs zum liberalen und deutschen Fürsten trug zunächst seine 1829 geschlossene morganatische Ehe mit der bürgerlichen Postmeisterstochter Anna Plochl (1804-1885) bei. Verstärkt wurde der Eindruck vom volksnahen Prinzen durch das Gerücht, der Erzherzog sei ein Gegner von Klemens von Metternich (1773-1859), dem er jedoch eng verbunden war. Einen neuen Aspekt erhielt der Mythos im Rahmen des Festes der Grundsteinlegung zur Vollendung des Kölner Doms im September 1842. Nach einem Bankett auf Schloss Brühl wurde J. in deutschen Zeitungen mit der Aussage „Kein Preußen, kein Österreich! Ein einiges Deutschland, fest wie seine Berge!“ zitiert. Obwohl bald viele Blätter die Berichtigung der Rede abdruckten, in der J. nur die Notwendigkeit der Zusammenarbeit von Berlin und Wien für das Wohl Deutschlands betont hatte, hielt sich das Gerücht über den Ausspruch bis zur Revolution von 1848. Im Sommer 1846 wurde J. von Kaiser Ferdinand I. (1793-1875) zum Kurator der Akademie der Wissenschaften ernannt, um deren Gründung als freie wissenschaftliche Gesellschaft 1847 er sich verdient machte.
Als in Wien und Graz 1848 Unruhen ausbrachen, versuchte J. in beiden Städten, beruhigend auf die Bevölkerung einzuwirken, und erreichte das Auswechseln einiger Regierungsmitglieder. Bald darauf, im Juni 1848, musste er die Funktion des Stellvertreters für den nach Innsbruck geflohenen Kaiser Ferdinand I. übernehmen. Somit hatte er bereits eine Regierungsverantwortung, als ihn die Ffter Nationalversammlung am 29.6.1848 zum Reichsverweser wählte. In der deutschen Bevölkerung waren vereinzelte Rufe nach mehr politischer Verantwortung für ihn seit März anzutreffen. Ende Mai, bei einer Verhandlung von einigen Mitgliedern der Bundesversammlung und einflussreichen Mitgliedern der Nationalversammlung, hatte Anton von Schmerling (1805-1893) J.s Namen für ein Reichsdirektorium eingebracht. Mit dem Argument, einen „kühnen Griff“ zu wagen (24.6.1848), war Heinrich von Gagern (1799-1880) in der Nationalversammlung dafür eingetreten, J. („obgleich ein Fürst“) als „Reichsverweser“ an der Spitze einer zentralen Übergangsregierung für die deutschen Staaten direkt und ohne Vereinbarung mit den Einzelstaaten einzusetzen. Am 28.6.1848 folgte die Verabschiedung des Gesetzes über die Provisorische Zentralgewalt, und tags darauf wurde J. mit 436 von 548 Stimmen zum Reichsverweser gewählt, was ihm durch eine Delegation offiziell mitgeteilt wurde. J. nahm die Wahl an, da er hierin einen Vorteil für Österreich sah und bei einer Ablehnung erneute Unruhen fürchtete. Die Annahme rief zwar viel Zustimmung im Volk hervor, war aber auch mit Protest von demokratischer Seite und Kritik von Vertretern einer Einigung unter preußischem Vorzeichen verbunden.
Am 11.7.1848 zog J. unter großer Anteilnahme der Bevölkerung in Ffm. ein, und am folgenden Tag wurde er in der Paulskirche feierlich in sein Amt eingeführt. Einige der Abgeordneten, die gegen ihn votiert hatten, blieben dem Empfang fern. In seinem „Aufruf an das Deutsche Volk“ beim Amtsantritt versprach J. den wirtschaftlichen Aufstieg des geeinten Deutschlands und forderte vom Volk, dass alles „Weitere auf dem Rechtswege und fern von verbrecherischen Trieben und der Zügellosigkeit“ geschehen solle. Sofort begann J. unter dem Einfluss von Schmerling mit der Kabinettsbildung, indem er einen Teil der Reichsministerposten besetzte.
Die politischen Vorstellungen von J. sind schwer zu erfassen, da er meist nur unklare Begriffe verwendete. So sollte sich eine „gute“ Herrschaft und Verwaltung durch Fürsorge des Fürsten für das Volk auszeichnen, welches dem Souverän hierfür „Liebe“ entgegenzubringen habe. Zwar war J. für die Belange des Volkes offen, aber er lehnte jegliche Einschränkung der Fürstenmacht und damit eine Partizipation der Bevölkerung kategorisch ab. Auch wenn er sich im Vormärz kritisch über die Uneinsichtigkeit des Wiener Hofs gegenüber Reformen geäußert hatte, so wollte er doch gegen Revolution in jeder Form eigentlich entschlossen vorgehen. Eine deutsche Einigung konnte für ihn nur unter österreichischer Führung gelingen; über deren verfassungsrechtliche Gestaltung äußerte er sich nur unpräzise. An seinen Freund Anton Graf von Prokesch-Osten (1795-1876) schrieb J. am 10.8.1848 aus Ffm., welchen territorialen Umfang der projektierte Nationalstaat nach seinen Wünschen haben solle: „Deutschland ist im Besitze eines großen Teiles der Alpen, in diesen entspringen seine Flüsse, und was auf deutschem Boden entspringt, soll auch an seinen Mündungen frei sein, deutsch oder deutsch verwandt.“ Außenpolitisch hoffte er, dass „eine konservative Macht“ im Mittelpunkt Europas entstehe, „trennend den Westen vom Osten, voll Kraft und Selbständigkeit, deren Wort entscheidend“ sei.
Als Reichsverweser wohnte J., der 1816 auf der Durchreise erstmals in Ffm. gewesen war, zunächst im „Russischen Hof“, dann im Palais Mülhens in der Großen Eschenheimer Gasse; zudem nutzte er ein Gartenhaus vor dem Bockenheimer Tor. Sein Ansinnen, die Nationalversammlung nach Regensburg und damit näher an Wien zu verlegen, war nicht umsetzbar. Ende Juli/Anfang August 1848 musste J. nach Wien zurück, um den dortigen Reichstag zu eröffnen. Zu seiner Rückkehr nach Ffm. sollte am 6.8. das Militär in allen Staaten des Deutschen Bundes dem Reichsverweser huldigen. Dieser „Huldigungserlass“, eine Initiative von Schmerling als damaligem Reichsinnen- und Reichsaußenminister, wurde ohne J.s Wissen von Reichskriegsminister Eduard von Peucker (1791-1876) verschickt. In den größeren Staaten konnte der Erlass nicht durchgesetzt werden, was früh die Grenzen der Zentralgewalt offenbarte. Infolge der Auseinandersetzungen um die Annahme des Waffenstillstands von Malmö in der Nationalversammlung im September 1848 musste das erste von J. berufene Reichsministerium unter Karl Fürst zu Leiningen (1804-1856) schon nach wenigen Wochen zurücktreten, und es wurde ein neues Kabinett mit Schmerling als Reichsministerpräsidenten gebildet. Der Verlauf der Septemberunruhen verschärfte das Misstrauen von J. gegenüber den Ministern der Zentralgewalt. In die eigentlichen Verfassungsberatungen griff er nicht ein, ließ sich aber davon berichten. Er schrieb es sich immer als charakterliche Leistung zu, die für sein Amt im Gesetz zur Provisorischen Zentralgewalt vorgesehenen Kompetenzen einzuhalten. Daher verweigerte er in seinen zahlreichen Audienzen jedem die Unterstützung in politischen Fragen. Zudem erkannte er schnell seine eigentliche politische Machtlosigkeit. Aus dem öffentlichen Bewusstsein trat er bald in den Hintergrund. Sein Versuch, ab Ende 1848 durch wöchentliche Soireen in seiner Wohnung die Abgeordneten über die Fraktionen hinweg ins Gespräch und damit die Verhandlungen wieder in Gang zu bringen, führte zu keinem Ergebnis.
Nach der Verabschiedung der „Paulskirchen-Verfassung“ unter Entscheidung für eine kleindeutsche Lösung mit einem deutsch-österreichischen Bündnis am 28.3.1849 wollte J. zurücktreten, konnte aber noch zum Bleiben überredet werden, bis der preußische König die Wahl zum deutschen Kaiser angenommen hätte. Den nun einsetzenden unklaren Zustand empfand J. als unwürdig, da er sein Amt als erledigt und damit als sinnlos geworden ansah. Wenn auch Ffm. für ihn zahlreiche architektonische Reize besaß, wurde ihm das Stadtleben zunehmend zur psychischen und physischen Belastung. In seinen Tagebüchern schrieb er bald ausführlicher über seine Ausflüge in die Gärten der Umgebung als über die Politik. Immer mehr sah er sich als ausführendes Organ von dem österreichischen Ministerpräsidenten Felix Fürst von Schwarzenberg (1800-1852) bzw. dem österreichischen Bevollmächtigten bei der Zentralgewalt, Bernhard von Rechberg (1806-1899). Seine Abneigung richtete sich gegen den Hof in Wien und insbesondere gegen Preußen, dem er zunehmend misstraute, gegen die anderen deutschen Fürsten und letztlich auch gegen die Abgeordneten der Nationalversammlung. Gegen die Aufstände in der Pfalz und in Baden befürwortete er ein entschiedenes Vorgehen. Der sich auflösenden Nationalversammlung blieb die Haltung des Erzherzogs nicht verborgen; so erklärte deren nach Württemberg geflohener Rest, das „Stuttgarter Rumpfparlament“, den Reichsverweser für abgesetzt und als „Volksverräter“ für „vogelfrei“.
Nachdem J. bereits Anfang 1849 mehrere Wochen bettlägerig krank gewesen war, begab er sich im Juli und August des Jahres zur Erholung nach Bad Gastein, in der Hoffnung, nicht mehr nach Ffm. zurückkehren zu müssen. Die fortdauernden Verhandlungen zwischen Preußen und Österreich über die Übernahme der Zentralgewalt erforderten jedoch Ende August wieder seine Anwesenheit am Main. Am 30.9. konnten sich Berlin und Wien auf eine interimistische Lösung zur Übertragung der Befugnisse der Zentralgewalt an eine aus zwei Österreichern und zwei Preußen gebildete Bundeszentralkommission einigen. Im Zuge der offiziellen Übergabe am 20.12.1849 trat J. als Reichsverweser zurück. Bevor er Ffm. an Silvester 1849 verließ, besichtigte er noch einmal die Paulskirche und bedauerte das Scheitern der Einigung.
Über Wien kehrte J. in seine steirische Heimat zurück, wo er von 1850 bis 1858 als Bürgermeister von Stainz fungierte. Die deutschen und europäischen Einwicklungen verfolgte er mit Sorge. Nachdem er sein Amt in Ffm. in den letzten neun Monaten als unwürdig empfunden hatte, bedauerte er es nun bis zu seinem Tod, nicht doch wieder Reichsverweser sein und seine Ziele entschlossen mit genügend Militär durchsetzen zu können. Als J. 1858 auf der Durchreise nach Bad Ems noch einmal ein paar Tage in Ffm. verweilte, blickte er versöhnlich und mit Wehmut auf die Revolutionsjahre zurück. Nach einem Besuch in der Paulskirche notierte er im Rückblick auf die Nationalversammlung in sein Tagebuch: „Es waren doch größtentheils die vorzüglicheren Köpfe Deutschlands da versammelt und viele im Grunde ihr Vaterland liebende, gutdenkende Männer.“
Die Originale der Tagebuchaufzeichnungen von 1848/49 wurden durch sowjetische Truppen in der Oststeiermark 1945 zerstört. Abschriften des Ffter Historikers Georg Küntzel (1870-1945) sind jedoch in der „Ffter Sammlung“ im Bundesarchiv in Berlin-Lichterfelde überliefert.
In der bundesdeutschen Erinnerungskultur an 1848 spielt der Reichsverweser kaum eine Rolle.
Zum 200. Geburtstag von J. stiftete die Stadt Graz 1982 eine von dem Grazer Bildhauer Fred Pirker (1910-1986) geschaffene bronzene Porträtbüste J.s auf einer Sandsteinstele, die an der Westseite der Paulskirche aufgestellt wurde.