Yamaguchi tinggal dan bekerja di Nagasaki, tetapi pada musim panas 1945 dia melakukan perjalanan bisnis ke Hiroshima selama tiga bulan. Pada 6 Agustus, dia bersiap-siap meninggalkan Hiroshima dengan kedua rekan kerjanya, Akira Iwanaga dan Kuniyoshi Sato. Dia sedang menuju stasiun ketika ia menyadari hanko miliknya tertinggal, sehingga ia kembali ke tempat kerjanya untuk mengambilnya.
Pada pukul 8:15, bom atom dijatuhkan di tengah-tengah kota Hiroshima. Posisi Yamaguchi saat itu hanya 3 km dari bom tersebut. Ledakan itu merusak gendang telinga sebelah kirinya, buta sementara, dan terdapat luka bakar serius pada tubuh sebelah kirinya.
Setelah mencari tempat perlindungan dan beristirahat, dia mencari kedua rekannya. Mereka bertiga selamat dan mencari perlindungan sebelum kembali ke Nagasaki keesokan harinya.

Di Nagasaki, ia mendapat perawatan, tetapi ia kembali bekerja pada 9 Agustus. Pukul 11.00, Amerika kembali menjatuhkan bom atom sekitar 3 kilometer dari tempat dia bekerja. Dia tidak terluka dari ledakan, tetapi ia tidak dapat menemukan pengganti untuk perbannya yang rusak, akibatnya dia mengalami demam yang parah selama lebih dari seminggu.

Yamaguchi aktif menentang penggunaan bom atom. Dia menulis buku tentang pengalamannya dan diundang ke untuk ikut serta dalam film dokumenter yang ditayangkan pula di PBB. Ia memohon agar penggunaan senjata atom dihapuskan,

Dalam suatu wawancara, ia pernah mengatakan, "Alasan aku membenci bom atom dikarenakan apa yang dilakukannya terhadap martabat manusia." Ia juga mengatakan, " Aku tidak mengerti mengapa dunia tidak dapat mengerti penderitaan yang diakibatkan bom atom. Bagaimana bisa mereka tetap mengembangkan senjata seperti itu?"

Yamaguchi menderita tuli karena ledakan di Hiroshima. Dia juga pernah mengalami kebotakan sementara dan dibalut perban dalam waktu yang cukup lama. Tetapi ia menjalani hidup yang sehat sampai mendekati akhir hidupnya dia mengalami penyakit akibat radiasi ledakan, seperti katarak dan leukemia akut. Di akhir hidupnya, ia juga menderita kanker lambung. Yamaguchi meninggal di umur 93, pada tanggal 4 Januari 2010 di Nagasaki.