Nach persönlichen Querelen verließ P. seine Heimatstadt Worms und verbrachte seine letzten Lebensjahre zurückgezogen in Ffm.
Bei seinem Tod vermachte er der Stadt Ffm. den größten Teil seines Vermögens (1,36 Millionen Mark) für die Errichtung einer Stiftung zur Förderung zeitgenössischer bildender Künstler. 1907 trat die „Stiftung des Ludwig Joseph P. aus Worms” in Kraft. Die Stiftung (seit 1922: „Ludwig P.-Museum-Stiftung”) ermöglichte Städeldirektor Georg Swarzenski, zahlreiche Bilder der Maler Fritz Boehle, Hans Thoma und Wilhelm Steinhausen für die 1906 gegründete Städtische Galerie anzukaufen. Während der Inflation schmolz das Stiftungsvermögen sehr zusammen. Nachdem die Stiftung 1939 in „Stiftung für bildende Kunst” umbenannt worden war, um die Erinnerung an ihren jüdischen Gründer zu tilgen, erhielt sie 1947 ihren ursprünglichen Namen zurück. 1949 wurden die Albert Linel-Stiftung sowie die Julius Töplitz und Betty Hensen-Stiftung in die Ludwig P.-Museum-Stiftung eingegliedert.