Aufgewachsen in einem katholischen, ursprünglich aus dem Rheinland stammenden Elternhaus. Der Vater Prof. Dr. phil. Hilar Sch. (1858-1919) war als Gymnasialdirektor in Straßburg tätig.
Besuch des Gymnasiums in Straßburg bis zum Abitur (1914). Kurzer Militärdienst. Studium der Architektur an der TH Berlin-Charlottenburg, beendet mit dem Ingenieurdiplom (1918). Beginn eines Studiums der Katholischen Theologie, Geschichte und Philosophie in Bonn. Von August 1919 bis November 1923 Ausbildung zum Regierungsbaumeister in Köln, wo er 1922 auch ein Semester Kunstgeschichte hörte. Zugleich Arbeit an seiner Dissertation zum Thema „Frühtypen der rheinischen Landkirche“ an der TH Berlin, die er im Frühjahr 1923 erfolgreich abschloss. 1923/24 Meisterschüler von Hans Poelzig an der Preußischen Akademie der Künste in Berlin.
1922 hatte Sch. zum ersten Mal die Burg Rothenfels am Main besucht, die seit 1919 das Zentrum der katholischen Jugendbewegung Quickborn war. Dort lernte er den einflussreichen Theologen und Liturgiereformer Romano Guardini kennen und wurde 1924 zum Hausarchitekten auf Rothenfels berufen. In der Folgezeit leitete er die Umbauarbeiten auf der Burg. Am 1.1.1925 holte Dominikus Böhm Sch. als Assistenten und Lehrer an die Technischen Lehranstalten in Offenbach und machte ihn zum Mitarbeiter in seinem Architekturbüro. Hier entstanden 1927 Entwürfe für den bedeutenden überregionalen Wettbewerb der Ffter Frauenfriedenskirche. Obwohl der Entwurf „Opfergang“ von Böhm und Sch. den ersten Preis erhielt, setzte sich in einem engeren Verfahren schließlich Hans Herkommer durch und wurde mit der Bauausführung beauftragt.
Im April 1927 übernahm Sch. die Direktorenstelle an der Aachener Kunstgewerbeschule bis zu deren Auflösung durch die Nationalsozialisten im Januar 1934. In den Jahren 1929/30 realisierte er seine ersten Bauwerke in Aachen, von denen besonders die mit Hans Schwippert und Johannes Krahn errichtete Fronleichnamskirche als ein Meilenstein moderner Sakralarchitektur gelten kann. Den streng asketischen weißen Kastenraum bezeichnete Sch. selbst als „das Kompromissloseste, was es zur Zeit gibt“. Obwohl St. Fronleichnam als quasi idealtypisches Beispiel des Neuen Bauens dienen könnte, hatte Sch. immer ein kritisches Verhältnis zur Architektur des Funktionalismus, das er 1953 in der „Bauhaus-Debatte“ deutlich zum Ausdruck brachte. Im Kirchenbau sah Sch. z. B. symbolische Urbilder wie einen offenen Ring, Kelch oder Weg, metaphysische Hüllen, die den Gläubigen über die rein gebaute Form hinaus zu Gott führen würden.
Nach seiner Entlassung in Aachen 1934 zog sich Sch. zuerst nach Burg Rothenfels zurück und gründete dort im selben Jahr mit Martin Weber den „Studienkreis für Kirchenkunst“. Gemeinsam mit Johannes Krahn unterhielt er dann ein Architekturbüro in Ffm. (ab 1934). Neben der theoretischen Beschäftigung mit dem Sakralbau blieben Sch., wie auch anderen Architekten, die den neuen Machthabern ablehnend gegenüberstanden, meist nur kleinere Privataufträge (vornehmlich Wohnhäuser), um sich über Wasser zu halten. Von 1941 bis 1944 arbeitete er als Landesplaner in Lothringen. Noch 1944 zum Militär einberufen, geriet er in französische Kriegsgefangenschaft, die bis März 1946 währte.
Von Oktober 1946 bis 1952 war Sch. als Generalplaner für den Wiederaufbau der Stadt Köln tätig; gleichzeitig betrieb er Architekturbüros in Ffm. und Köln. Sein erster großer und für die junge deutsche Demokratie symbolträchtiger Auftrag in Ffm. bestand 1947/48 im Wiederaufbau der Paulskirche, den er mit Johannes Krahn, Gottlob Schaupp und Eugen Blanck realisierte. Sch. notierte hierzu: „Die Denkmalpflege wollte den alten Bau historisch wiederhergestellt haben, aber wir widersetzten uns, denn die große Ruine war weitaus herrlicher als das frühere Bauwerk, ein riesiges Rund aus nackten, ausgeglühten Steinen von einer beinahe römischen Gewaltsamkeit. So schön war das Bauwerk noch niemals gewesen, und wir erreichten, daß es so blieb.“ (Rudolf Schwarz: Kirchenbau 1960, Nachdr. 2007, S. 94.) Im Zuge des Wiederaufbaus wurden anstelle der kriegszerstörten Kuppel ein abgeflachtes Dach aufgesetzt und der Innenraum stark verändert. Das frühere Kirchenschiff wurde in eine niedrige Wandelhalle im Erdgeschoss und den darüber liegenden Plenarsaal unterteilt: „Aus der Wandelhalle steigt man auf zwei mit der Rundung der Wand geschwungenen Treppen in den hohen Saal hinauf. Das Erlebnis dieses Aufstieges aus dem Dunklen und Drückenden ins Helle und Freie ist stark, und wir dachten uns etwas dabei. Der Bau sollte sagen, was die Versammlung in diesem Hause für unser Volk zu tun hatte.“ (Rudolf Schwarz: Kirchenbau 1960, Nachdr. 2007, S. 94.) Seit der Wiedereinweihung zum 100. Jubiläum der Nationalversammlung am 18.5.1948 wird die Paulskirche nicht mehr für sakrale Zwecke genutzt, sondern dient als nationale Gedenkstätte, als „das Haus aller Deutschen“ (Walter Kolb), in dem besondere Festakte und bedeutende Preisverleihungen (u. a. des Goethepreises der Stadt Ffm. und des Friedenspreises des Deutschen Buchhandels) stattfinden.
Obwohl sein Schaffensmittelpunkt vornehmlich im Rheinland lag, baute Sch. noch eine bemerkenswerte Kirche in Ffm.: St. Michael im Nordend 1953/54 (mit Karl Gutmann, Maria Sch. und Karl Wimmenauer, der 1962 den markanten Glockenturm realisierte). Der nahezu skulptural anmutende, verklinkerte Stahlbetonbau über ellipsenförmigem Grundriss ist eine der bedeutendsten und interessantesten Kirchen der 1950er Jahre in Ffm. Seit 2007 ist St. Michael keine Pfarrkirche mehr, sondern dient als Zentrum für Trauerseelsorge des Bistums Limburg.
Im Jahr 1953 erhielt Sch. einen Ruf als Professor für Städtebau an der Staatlichen Kunstakademie Düsseldorf, wo er bis zu seinem Tod 1961 lehrte. In dieser Zeit schuf er zahlreiche katholische Kirchen an Rhein und Ruhr sowie öffentliche Bauten wie z. B. das Wallraf-Richartz-Museum (mit Josef Bernard, 1957; seit 1989 Sitz des Museums für Angewandte Kunst) in Köln.
Rudolf Sch. wird als einer der bedeutendsten katholischen Kirchenbaumeister des 20. Jahrhunderts in Deutschland angesehen. Anders als Dominikus Böhm oder Martin Weber publizierte er seine Gedanken zudem in zahlreichen Schriften. Er gilt deshalb als der große Denker und Theoretiker seiner Zunft, eine Eigenschaft, die ihn mit seinem evangelischen Kollegen Otto Bartning verbindet.
Weitere Bauten von Sch. in Ffm.: Zweifamilienhaus Städelstraße 22/24 in Sachsenhausen (mit Johannes Krahn, 1938/39; Nr. 22 nach Kriegszerstörung stark verändert wiederaufgebaut 1948). Weitere Projekte wie die innere Umgestaltung der Kirche St. Elisabeth in Bockenheim (mit Johannes Krahn, 1938-40), die Instandsetzung des Chores der Liebfrauenkirche (mit Karl Wimmenauer, 1947-49) und die Umgestaltung des Chores der Kirche St. Bartholomäus in Zeilsheim (mit Karl Wimmenauer, 1947/48) sind später stark verändert worden. Die mit Karl Wimmenauer 1947-49 umgestaltete Kapelle im Marienkrankenhaus im Nordend wurde im Zuge des Gebäudeabrisses 2017 zerstört.
Sch. veröffentlichte neben generellen theoretischen Beiträgen zu Kirchenbau und Architektur auch Erläuterungsberichte zu seinen Bauten und Projekten. Als grundlegende Werke können vor allem die Bücher „Vom Bau der Kirche“ (1938), „Von der Bebauung der Erde“ (1949) sowie „Kirchenbau. Welt vor der Schwelle“ (1960, Nachdr. 2007) betrachtet werden.
Auszeichnungen: Bundesverdienstkreuz (1952), Fritz-Schumacher-Preis (1952), Mitgliedschaft in der Berliner Akademie der Künste (1955) und Großer Kunstpreis des Landes Nordrhein-Westfalen (1958).
Verheiratet (seit 1951) mit der Kirchenarchitektin Maria Sch., geb. Lang (1921-2018), die mit Sch. zusammenarbeitete, nach seinem Tod das Büro übernahm und geplante Werke vollendete. In seinem Sinne verantwortete sie in einer Planungsgemeinschaft mit dem Architekten Klaus Wever die Renovierung der Paulskirche in den Jahren 1986 bis 1988. Sie verwaltete zudem Sch.’ Nachlass, den sie schließlich dem Historischen Archiv des Erzbistums Köln übergab.
1998 Werkschau „Rudolf Schwarz: Architekt einer anderen Moderne“ im Deutschen Architekturmuseum in Ffm.
Seit 2013 Rudolf-Sch.-Platz auf dem Riedberg.