Margittai Neumann János Lajos iskolai tanulmányait 1913-ban kezdte meg a Fasori Evangélikus Gimnáziumban, amelyet a világ egyik legjobb középiskolájának tartottak. Az intézmény nem csak magas szintű képzéséről volt ismeretes, hanem toleranciájáról is. Neumann János 1921-ben érettségizett, ekkor már hivatásos matematikusnak számított.
Beiratkozott a budapesti tudományegyetem bölcsészkarára, fő tárgyul a matematikát, melléktárgyul a fizikát és a kémiát választva.
Ezzel párhuzamosan tanult a berlini egyetemen, vegyészmérnöknek pedig Zürichben. A zürichi vegyészi diplomájával azonos időben szerezte meg a summa cum laude matematikai doktorátust a budapesti tudományegyetemen. Ösztöndíjasként ment a német matematika fellegvárának számító Göttingenbe, ahol a Bolyai-díjas David Hilbertnek lett a munkatársa.
1927-ben Berlinben magántanárként működött. Feltűnt, hogy nagyon gyorsan tudja a problémákat megoldani. Ez - feltehetőleg - mérnöki tanulmányaival függött össze. Akkori 23 évével ő számított a berlini egyetem legfiatalabb tanárának. 1929-től a hamburgi egyetemen tanított matematikát.
Munkássága kezdetén elsősorban matematikai logikával és halmazelmélettel foglalkozott, tőle származik a halmazelmélet egzakt megalapozása.
1930-ban az Egyesült Államokban a princetoni egyetem vendégelőadója, 1931-től tanára. 1932-ben jelenik meg "A kvantummechanika matematikai alapjai" című munkája, amely korszakalkotó jelentőségű volt. Harminc éves korában kinevezték a princetoni Felsőfokú Tanulmányok Intézetének (IAS - Institute for Advanced Study) matematika professzorává. Az 1930-as évek közepétől alkalmazott matematikai problémákkal kezdett el foglalkozni, hidrodinamikai egyenletekkel, lökéshullámokkal és meteorológiai kérdésekkel.
Családjával együtt Amerikába költözött, amerikai állampolgár 1937-ben lett.
1943-ban meghívják Los Alamosba, ahol titokban az atombomba kifejlesztésén dolgoztak (többek között Teller Edével és Szilárd Leóval). Mint a Manhattan-terv konzultánsa, a robbanással összefüggő kérdéseket (lökéshullámokat) vizsgált.
Számítástechnikával 1944-ben került kapcsolatba. A "Manhattan-terv" keretén belül kellett nagyon sok numerikus számítást elvégeznie, amihez gépet keresett. A korábban ismert mechanikus és elektromechanikus számítási eszközök már nem voltak elégségesek a feladatok megoldására. A ballisztikai számításokhoz elkészítették az ENIAC számítógépet, az ezt építő csoport konzultánsa lett.
1945-ben ő volt a Princetoni Egyetem Felsőfokú Tanulmányok Intézetében az elektronikus számítógép-program igazgatója.
A számítástechnika alapvető gondolatai (a kettes számrendszer alkalmazása, memória, programtárolás, utasításrendszer stb.) tőle származnak. Neumann és munkatársa H.H. Goldstine kutatásaik eredményét egy bizalmas jelentésben foglalták össze 1948-ban. A jelentés a számítógépek első, legfontosabb dokumentuma, amelyben leírja a számítógép teljes logikai működését. amely először tartalmazta az univerzális, belső programvezérlésű, elektronikus, digitális számítógép tervét. Ebben megoldották a programtárolás módját is, azaz lehetővé vált az adatok és részeredmények tárolása, valamint a végrehajtandó utasítások tárolása is.
