Sohn eines Würzburger Kohlengroßhändlers.
Seit frühester Jugend für den Reitsport begeistert, wollte N. zunächst Kavallerieoffizier werden. Nach dem Tod des Vaters jedoch absolvierte er ab 1929 eine Lehre bei der Bayerischen Hypotheken- und Wechselbank in Würzburg. 1932 Praktikum bei der Hedwigshütte in Stettin. Danach arbeitete er im väterlichen Betrieb. 1935 übernahm N. – im Zuge der „Arisierung“ – ein Würzburger Textilhaus. 1938 wechselte er nach Berlin, wo er ein ebenfalls jüdisches Versandhaus inklusive einer Wäschemanufaktur kaufte und unter dem Namen „Wäsche- und Kleiderfabrik Josef Neckermann – Versandhaus“ weiterführte. Während des Krieges gründete er die „Zentrallagergemeinschaft für Bekleidung GmbH“. N. belieferte die Organisation Todt mit Wolldecken für die Bauarbeiter des Westwalls und stattete die Wehrmacht an der Ostfront 1942/43 mit neuentwickelten Winteruniformen aus. N. wurde „Stellvertretender Reichsbeauftragter für Kleidung und verwandte Gebiete“. 1945 Verurteilung durch ein amerikanisches Militärgericht wegen Verletzung des Kontrollratsgesetzes zu einem Jahr Arbeitslager; anschließende Haftzeit, zuletzt wegen Erkrankung an Tuberkulose in einem Hospital (bis Ende 1946).
Im September 1948 eröffnete N. in Ffm. die „Textilgesellschaft Neckermann KG Textilgroßhandel“ (seit 1951: „Neckermann Versand KG“). Oberbürgermeister Kolb hatte für eine dauerhafte wirtschaftliche Ansiedlung der Firma in Ffm., trotz N.s Konflikten mit den amerikanischen Militärbehörden, grünes Licht gegeben. Maßgeblichen Anteil am Aufbau der Textilkollektion hatte in diesen Jahren N.s Frau Annemarie, geb. Brückner (1915-1989). Die Geschäftsräume befanden sich zunächst an der Mainzer Landstraße, später in einem eigens errichteten Neubau (Architekt: Hans Hach, 1950-52) am Ostbahnhof. Seit 1953 war die Firma auch mit einem Stadtverkauf auf der Zeil, seit 1956 in einem neu erbauten Kaufhaus (Architekt: Paul Schwebes), präsent. Ab 1959 errichtete N. an der Hanauer Landstraße auf einem Grundstück von 220.000 Quadratmetern einen Versandhauskomplex mit eigenem Gleisanschluss für sein mittlerweile breit gefächertes Warenangebot. Am 15.9.1960 wurde der Neubau der Versandhauszentrale (Architekt: Egon Eiermann in Bürogemeinschaft mit Robert Hilgers) eröffnet. Künftig wurden von hier aus 46 Warenhäuser geleitet und ein Gesamtumsatz von drei Milliarden Mark erreicht. Unter dem Slogan „Neckermann macht’s möglich“ belieferte N. Millionen deutscher Haushalte mit seinen Katalogen. Qualitätsware in Massenanfertigung zu billigen Preisen für jedermann war sein unternehmerisches Credo. Sein enormer geschäftlicher Aufstieg machte N. zu einem Symbol des Wirtschaftswunders, seine erschwinglichen Massenartikel entsprachen Ludwig Erhards Motto vom „Wohlstand für alle“. 1963 stieg N. in das Geschäft mit Pauschalreisen ein, wofür er 1965 die „Neckermann und Reisen GmbH & Co.“ (NUR) gründete. Mit den gleichen Prinzipien wie bei seinem Warenversandhandel wurde N. zum Antriebsmotor des industriell organisierten Massentourismus mit Reisezielen in aller Welt. Das Versandhausimperium N., am Ende mit seiner Billigpreispolitik chancenlos zwischen der Konkurrenz der großen Warenhäuser und der anderen Versandhäuser, fusionierte 1976 mit dem Karstadt-Konzern. N., nicht mehr Herr im eigenen Haus, zog sich Anfang 1977 aus dem Berufsleben zurück.
N. gehörte, trotz einiger wirtschaftlicher Tiefschläge, zu den eindrucksvollsten Unternehmerpersönlichkeiten der bundesrepublikanischen Nachkriegsgeschichte. Mit seinem Versandhausimperium machte er einen bedeutenden Faktor im Ffter Wirtschaftsleben aus. Zudem erreichte „Necko“ als erfolgreicher Reitsportler breite Popularität.
Nebenberuflich gelang N. seit 1960 eine für einen Großunternehmer ungewöhnliche sportliche Karriere. Bei den Olympischen Spielen in Rom (1960), Tokio (1964), Mexiko (1968) und München (1972) errang er im Dressurreiten insgesamt sechs Medaillen, je zweimal Gold, Silber und Bronze. Erst 1981, beim Turnier von Aachen, beendete er seine Laufbahn als Dressurreiter.
Als aktiver Sportler hatte N. erkannt, dass sportliche Spitzenleistungen in der Regel nur bei materieller Absicherung der Sportler möglich sind. So rief er 1967 die Stiftung Deutsche Sporthilfe ins Leben, deren Vorsitzender er bis 1988 war. Seine Unternehmerbeziehungen zu Vertretern aus Politik und Wirtschaft nutzend, erschloss er der Sporthilfe als „Bettler der Nation“ mit großen Spendenaktionen wichtige Geldquellen. In den zwei Jahrzehnten unter N.s Vorsitz konnte die Sporthilfe über 16.000 Sportler finanziell fördern.
Mitglied, 1981/82 Präsident im Rotary Club Ffm.-Friedensbrücke.
Verfasser von „Erinnerungen“ (1990).
Zahlreiche Auszeichnungen, u. a. Ehrendoktorwürde der Universität Gießen (1970), Großes Bundesverdienstkreuz (1974) mit Stern (1982) und Schulterband (1987), Reiterkreuz in Gold (1987), Olympischer Orden (1988) und Ehrenplakette der Stadt Ffm. (1988).
Seit 1993 „Dr. h. c. Josef N.-Medaille“ der Ffter Kinderhilfestiftung.