John von Neumann lahir di Hungaria pada tahun 1903. Ia merupakan salah satu manusia ajaib yang mampu merilis 2 paper matematika saat masih berumur 19 tahun. Setelah mengajar di University of Berlin, Ia diundang untuk pindah ke Princeton University di Amerika Serikat pada tahun 1930, yang kemudian bergabung dengan Institute for Advanced Study di sana. Pada waktu itu Ia telah berkontribusi dibeberapa cabang matematika seperi teori himpunan, game theory, mekanika kuantum, logika, dan ekonomi matematika.

Pada akhir tahun 1930an, Ia mengerjakan modelling explosions, yang membawanya terlibat dalam Manhatten Project. Von Neumann juga diakui atas pengembangan strategi mutually assured destruction yang turut mendorong Perang Dingin.

Von Neumann sangat berkontribusi diawal sejarah komputasi, terutama karena pekerjaannya untuk mengembangkan bom hidrogen waktu itu membutuhkan kalkulasi yang besar dan kompleks. Perhitungan ini pada awalnya dikerjakan oleh manusia menggunakan kalkulator meja untuk melakukan perhitungan yang diperlukan. Pada tahun 1943 perhitungan ini mulai diganti dengan menggunakan mesin IBM ber-punched card yang memiliki kecepatan yang sama namun lebih mudah digunakan. (Satu perhitungan dapat memakan waktu tiga bulan, namun Richard Feynmann dapat menurunkan waktu perhitungannya menjadi tiga minggu saja dengan cara menjalankan punched card secara parallel di mesin IBM tersebut). Perlu diketahui bahwa mesin-mesin IBM tersebut bukanlah komputer yang dapat diprogram, mereka hanyalah kalkulator raksasa.

ENIAC, komputer pertama yang dapat diprogram pada awalnya masih menggunakan saklar dan kabel untuk mengoperasikannya. Ia masih belum memiliki kemampuan untuk menyimpan program. ENIAC menggunakan tabung hampa yang sangat banyak untuk menyimpan angka dan melakukan perhitungan, serta punch card untuk input dan output. Ia dikembangkan untuk menjalankan perhitungan artileri, namun berkat campur tangan von Neumann dan Los Alamos, komputer ini mampu melakukan perhitungan untuk bom hidrogen sebagai perhitungan pertamanya dengan menggunakan kurang lebih satu juta punch card.

Pengembangan EDVAC diusulkan oleh pembuat ENIAC, Mauchly dan Eckert, di akhir 1944. Sama halnya dengan ENIAC, EDVAC dikembangkan untuk Army's Ballistics Research Laboratory Amerika Serikat. Meskipun belum dibuat, von Neumann menulis draft pertama laporan untuk EDVAC pada bulan Juni tahun 1945.

Draf laporan yang ditulis oleh von Neumann berisi deskripsi awal desain logis dari komputer yang mampu menyimpan program, desain yang dewasa ini kita kenal dengan arsitektur komputer von Neumann. Akan tetapi, apakah ide ini murni hanya dari von Neumann seorang diri ataukah tidak sempat menjadi kontroversi.

Draf pertama dari laporan EDVAC memang hanyalah sebatas draft. Penulisannya dimaksudkan untuk memberikan kesimpulan dan analisis atas desain logis dari sistem EDVAC yang diusulkan, lengkap dengan tambahan dan saran dari von Neumann. Di dalamnya, von Neumann merekomendasikan bahwa komputer harus memiliki sebuah central control unit untuk mengatur semua operasi, sebuah central processing unit untuk menjalankan operasi, serta sebuah memori untuk menyimpan dan mengambil program dan data dari manapun di dalam memori tersebut (secara acak, tidak secara berurutan). Ia juga merekomendasikan bahwa EDVAC harus memiliki serial prosesor bukannya paralel karena menurutnya prosesor paralel akan sulit untuk dibuat.

Sayangnya (tanpa sepengetahuan von Neumann), Goldstine merilis draft awal tersebut hanya dengan namanya dan von Neumann tanpa memberikan kredit bagi Eckert dan Mauchly. Goldstine mungkin hanya ingin membagikan ide ini secepat mungkin ke khalayak, namun sayang efek samping yang dihasilkan membuat ide arsitektur ini hanya dikaitkan dengan von Neumann sendiri yang seharusnya sekelompok peneliti yang bersama-sama mengembangkannya.

Saat EDVAC telah dibuat, ia memiliki sebuah unit komputasi yang dapat mengoperasikan dua bilangan dan kemudian mengembalikan nilainya ke memori, sebuah unit kontrol yang menghubungkan proses tadi ke memori, tiga penampung operasi sementara, hampir 6000 tabung hampa, dan sebuah memori mercury delay line berjumlah 1000 word (nantinya akan berjumlah 1024 word). EDVAC mulai beroperasi pada tahun 1951 dimana pada saat itu von Neumann telah kembali ke IAS. Tak hanya itu Manchester Mark I, komputer asal Inggris dengan kemampuan menyimpan program yang sama dengan EDVAC lebih dahulu diumumkan pada bulan Juni 1948 sebagai komputer pertama yang dapat menyimpan programnya.

Sementara itu, pada tahun 1946, von Neumann menulis paper lain berjudul "Preliminary Discussion of the Logical Design of an Electronic Computing Instrument". Ide-ide von Neumann pada paper ini diwujudkan dalam bentuk mesin IAS.

Satu perbedaan besar antara mesin IAS dan EDVAC adalah bahwa IAS memiliki sebuah prosesor paralel. Meskipun word diproses secara seri, namun bit disetiap word disimpan dan dioperasikan secara paralel. Perwujudan ini menunjukkan betapa cepatnya teknologi berkembang. Pada laporan EDVAC tahun 1945, von Neumann berpikir bahwa sebuah prosesor paralel mungkin akan terlalu sulit untuk dibuat sehingga Ia merekomendasikan proses serial saja. Pada saat proyek mesin IAS dimulai pada tahun 1946, von Neumann yakin bahwa proses paralel tersebut dapat dilakukan.

Mesin IAS tersebut menggunakan 40-bit word (dengan dua instruksi 20-bit per word), sebuah memori berjumlah 1024-word dan dua general-purpose register. Tidak seperti komputer lain dijamannya, mesin IAS bekerja secara asynchronous, Ia tidak menunggu instruksi sebelumnya selesai sebelum menjalankan instruksi selanjutnya melainkan langsung mengeksekusi tiap instruksi satu persatu. Tabung hampa masih digunakan bersama dengan tabung William (tabung sinar katoda alias cathode ray tubes) untuk memorinya, yang dikenal dengan nama Selectron.

Poin paling krusial dari arsitektur von Neumann adalah penyimpanan instruksi dan data dalam satu memori yang sama. Hal ini membatasi mesin sehingga tidak dapat menjalankan sebuah instruksi dan mengakses data secara bersamaan. Kekurangan ini dikenal dengan istilah von Neumann Bottleneck. Sebagai alternatif, arsitektur Harvard dikembangkan untuk memisahkan tempat penyimpanan data dan instruksi. Sebagian besar komputer modern menggunakan arsitektur von Neumann untuk memori utama, namun arsitektur Harvard yang telah dimodifikasi digunakan untuk penyimpanan cache dan situasi lainnya.

IAS memiliki lima bagian utama yaitu: Central Arithmetic (yang melakukan operasi aritmatika), Central Control (yang menyalurkan informasi antara CA dan memori), Memory, Input, Output, dan media penyimpanan (pita magnetik pada mulanya). Ia memiliki tujuh register, tiga di CA dan empat di CC.

Central Arithmetic:

AC Accumulator
MQ/AR Multiplier/Quotient register (alias Arithmetic Register)
MDR Memory Data Register

Central Control

IBR Instruction Buffer Register
IR Instruction Register
PC Program Counter
MAR Memory Address Register

Beberapa komputer terkenal yang menerapkan arsitektur IAS adalah MANIAC (komputer yang terletak di Los Alamos National Laboratory yang mana von Neumann juga terlibat dalam pengembangan dan penentuan namanya), IBM 701 (komputer komersial saintifik pertama miliki IBM), dan ORACLE (terletak di Oak Ridge National Laboratory).

Von Neumann terus menggeluti bidang komputasi bersama dengan bidak lain yang turut menarik perhatiannya. Disisa hidupnya, Ia terus berkarya tanpa kenal lelah. Pada tahun 1949, Ia mendesain program komputer yang mampu menduplikasikan dirinya sendiri. Program ini dianggap sebagai virus komputer yang pertama kali diciptakan.

Salah seorang ilmuwan komputer yang paling dihormati ini kembali pada sang pencipta pada tahun 1955 karena menderita kanker tulang atau pankreas. (Seorang penulis biografi berspekulasi bahwa kanker ini merupakan akibat keterlibatannya di program tes nuklir Bikini Atoll pada tahun 1946). Karya-karya yang telah Ia hasilkan tak akan pernah hilang meski jaman terus berkembang.