Sohn des Ffter Buchhändlers Moritz A. (1844-1918).
Von 1888 bis 1900 Besuch des Wöhler-Realgymnasiums und der Handelsschule in Ffm. Befreundet mit dem späteren Komponisten Walter Braunfels. Auf Wunsch des Vaters begann A. eine Buchhändlerlehre in München, bevor er sich dort 1901 der musikalischen Ausbildung zuwandte. Als Gastdirigent des „Museums“ kehrte A., damals Kapellmeister in Lübeck, 1906/07 in seine Geburtsstadt Ffm. zurück. Seit 1915 künstlerischer Leiter des Gürzenich-Orchesters und Direktor des Konservatoriums der Musik, der späteren Staatlichen Hochschule für Musik und Rheinischen Musikschule, sowie seit 1918 städtischer Generalmusikdirektor in Köln, stieg A. zu einem der bedeutendsten Dirigenten des 20. Jahrhunderts auf. Nachdem sein früherer Schüler Hans Wilhelm Steinberg als Generalmusikdirektor der Ffter Oper daran gehindert worden war, eine Aufführung der „Meistersinger von Nürnberg“ am 19.3.1933 zu dirigieren, übernahm A. auf Einladung des nationalsozialistischen „Kampfbunds für deutsche Kultur“ diese Vorstellung; auch am 23.4.1933, als Steinberg bereits von Oberbürgermeister Friedrich Krebs offiziell „beurlaubt“ war, dirigierte A. eine Ffter Vorstellung dieser Wagner-Oper. Neben seiner Tätigkeit als Gewandhauskapellmeister in Leipzig (1934-45) wirkte A. von 1941 bis 1945 u. a. als musikalischer Leiter des Rhein-Mainischen Landesorchesters, eines Orchesters der NSDAP, regelmäßig in Ffm. Sofort nach dem Zweiten Weltkrieg konnte er, der wegen seiner Rolle im „Dritten Reich“ heute umstritten ist, als Chefdirigent des Deutschen Nationaltheaters und damit der Staatskapelle Weimar (seit 1945, als Generalmusikdirektor seit 1947) an seine früheren Erfolge anknüpfen; zugleich leitete er die Rundfunk-Sinfonieorchester Leipzig (seit 1949) und Berlin (seit 1953).
Zahlreiche Auszeichnungen, u. a. Nationalpreis der DDR II. Klasse für Kunst und Literatur (1949).