Einziger Sohn des Kaufmanns Karl Louis A. (1839-1878), eines Teilhabers der Farbwarenhandlung „Bernhard Andreae & Söhne“ in Ffm., und dessen Ehefrau Bertha, geb. Holland, in 2. Ehe verh. Giesenberg, in 3. Ehe verh. von Arnswaldt (1850-1919). Die Mutter stammte mütterlicherseits aus der jüdischen Kaufmannsfamilie Gerson, die mit führenden Ffter Familien verschwägert war. Der Stiefvater, der Berliner Architekt Edgar Hermann Giesenberg (1851-1892), war unter Richard Lucae am Bau des Ffter Opernhauses beteiligt, den er nach Lucaes Tod 1877 zusammen mit Johann Albrecht Becker (1840-1911) vollendete; insbesondere war Giesenberg für die Innenausstattung des 1880 eröffneten Hauses (der heutigen Alten Oper) zuständig. Zwei Schwestern aus der Ehe der Eltern, eine Halbschwester aus der zweiten Ehe der Mutter.
Verheiratet (seit 1902) mit Edith A., geb. Rathenau (1883-1952), der Tochter von Emil Rathenau (1838-1915), dem Gründer und Generaldirektor der Allgemeinen Elektricitäts-Gesellschaft (AEG) in Berlin, und dessen Ehefrau Sabine Mathilde, geb. Nachmann (1845-1926), die aus einer jüdischen Ffter Bankiersfamilie stammte; älterer Bruder von Edith Rathenau war der Industrielle Walther Rathenau (1867-1922), der spätere Außenminister der Weimarer Republik. Vier Töchter: Maria Elisabeth A. (später verh. Holzhausen, 1902-?); Ursula Ruth A. (seit 1927 verh. von Mangoldt-Reiboldt, 1904-1987), Theologin, Schriftstellerin und Verlegerin; Barbara A. (später verh. Fürth, 1909-?), Pianistin; Veronika Ingeborg A. (später verh. Schnewlin-A., 1915-1985), Psychologin und Graphologin.
Nach dem frühen Tod des Vaters kam A. durch die erneute Verheiratung der Mutter 1882 nach Berlin. Dort Besuch des Joachimsthalschen Gymnasiums, abgeschlossen mit dem Abitur 1891. Kaufmännische Ausbildung bei dem Berliner Privatbankhaus Hardy & Co. mit längeren Aufenthalten in der französischen Schweiz, in Frankreich und England, seit 1895 in Südafrika und danach in den USA. Bei Umwandlung des Bankhauses Hardy & Co. in eine GmbH 1899 übernahm A. den Posten des Geschäftsführers. Durch seine Heirat mit Edith Rathenau 1902 konnte er weitreichende Kontakte zur (Berliner) Wirtschaftselite knüpfen und zog bis 1906 als Vertreter der Bank Hardy & Co. in zahlreiche Aufsichtsräte deutscher Unternehmen ein; zudem war er seit 1913 Deputierter im Zentralausschuss der Reichsbank und im Aktionärsausschuss des Berliner Cassen-Vereins. Als die Dresdner Bank 1917 die Anteilsmehrheit an Hardy & Co. übernahm, erhielt auch A. einen Kapitalanteil an dem Bankgeschäft und wurde in der Folge in den Aufsichtsrat der Dresdner Bank und der AEG berufen. In den 1920er Jahren stieg Hardy & Co. zu einer der führenden deutschen Privatbanken auf. Mit rund 30 Aufsichtsratsmandaten bei verschiedenen Großbanken und Unternehmen, u. a. als Aufsichtsratsvorsitzender der Dresdner Bank (seit 1926) und der AEG (zunächst kommissarisch seit 1930), war A. ein einflussreicher „Big Linker“ in der deutschen Wirtschaft, insbesondere im Bankwesen und in der Industrie. Auch nach seinem Ausscheiden als Geschäftsführer bei Hardy & Co. 1931 blieb er Generalbevollmächtigter bei diesem Bankhaus, und noch 1932 hatte er einen Sitz in 22 Aufsichtsräten. Seit 1933, nach der Machtübernahme der Nationalsozialisten, wurde A. als „Halbjude“ zur Aufgabe aller seiner Posten gezwungen, zuletzt auch bei der Dresdner Bank (1936). 1939 emigrierte er mit seiner Frau nach Zürich, wo er seitdem als Privatier lebte.
Seit 1897 Mitglied, später Vorstandsmitglied und Mitglied der Aufnahmekommission des exklusiven „Clubs von Berlin“.
A. besaß eine umfangreiche Goethebibliothek und galt als ausgezeichneter Goethekenner. Er förderte die schönen Künste, insbesondere Max Reinhardt (1873-1943) und dessen Deutsches Theater in Berlin, und war vielen Künstlern freundschaftlich verbunden, u. a. Gerhart Hauptmann, Hugo von Hofmannsthal (1874-1929) und Max Liebermann (1847-1935). A.s Gattin Edith, „die intellektuellste Frau Berlins“ (so die Schriftstellerin Marie von Bunsen), war seit ihrer Jugend mit Katia Pringsheim (1883-1980), der späteren Ehefrau von Thomas Mann, befreundet. In ihrem Salon in der Villa A. (Architekten: Alfred Breslauer und Paul Salinger, 1913/14; später Villa Paicos, erhalten) in Grunewald empfingen Edith und Fritz A. jeden Sonntagnachmittag Bankiers und Industrielle, Politiker und Diplomaten, Wissenschaftler und Schriftsteller, Musiker und bildende Künstler, u. a. Ferruccio Busoni, Lovis Corinth, Friedrich Ebert, Albert Einstein, Leo Frobenius, Wilhelm Furtwängler, André Gide, Olaf Gulbransson, Georg Kolbe, Fritzi Massary, Max Planck, Rainer Maria Rilke, Fritz von Unruh, Karl Vollmoeller und Karl Wolfskehl. Nach der Ermordung ihres Bruders Walther R. bei einem Attentat in Berlin am 24.6.1922 verwaltete Edith A. dessen politischen und literarischen Nachlass.