Tjong A Fie dilahirkan dengan nama Tjong Fung Nam (orang Hakka), di Sungkow, Meixian, Guangdong, (Tiongkok) pada tahun 1860. Ia berasal dari keluarga yang sederhana. Bersama kakaknya Tjong Yong Hian (1850-1911), Tjong A Fie meninggalkan bangku sekolah dan membantu menjaga toko ayahnya. Walaupun hanya mendapatkan pendidikan seadanya, tetapi Tjong A Fie sangat cerdas dan menguasai cara-cara berdagang sehingga usaha keluarganya cukup sukses.
Tjong A Fie memutuskan untuk merantau ke Hindia Belanda (Indonesia) untuk mencari penghidupan yang lebih baik. Pada tahun 1875 Tjong A Fie pergi ke Medan (Sumatera Utara) untuk mengadu nasib. Saat itu ia baru berusia 18 tahun. Dengan berbekal sedikit uang, ia menyusul kakaknya, Tjong Yong Hian, yang sudah terlebih dahulu datang ke Medan dan tinggal selama 5 tahun. Pada saat itu kakaknya sudah menjadi kapitan (pemimpin) Tionghoa di Medan. Tjong A Fie bekerja di toko milik teman kakaknya yang bernama Tjong Sui Fo. Di toko tersebut, Tjong bekerja dari memegang buku, melayani pelanggan, serta tugas-tugas lainnya. Ia dikenal pandal bergaul, tidak hanya dengan orang Tionghoa, namun juga dengan warga Melayu, Arab, India, dan orang Belanda.

Tjong A Fie tumbuh menjadi sosok yang tangguh, menjauhi candu, judi, mabuk-mabukan dan pramuriaan. Ia menjadi teladan dan menampilkan watak kepemimpinan yang sangat menonjol. Ia sering menjadi penengah jika terjadi cekcok antara orang Tionghoa dengan etnis lain. Di daerah perkebunan milik Belanda sering terjadi keributan di kalangan buruh yang menimbulkan kekacauan dan karena kemampuannya, Tjong A Fie sering diminta Belanda untuk membantu mengatasi masalah-masalah tersebut. Karena prestasinya yang luar biasa, dalam waktu singkat Tjong A Fie naik pangkat menjadi Kapitan pada tahun 1911, untuk menggantikan kakaknya yang telah wafat.

Di tanah Deli, Tjong A Fie menjalin hubungan baik dengan Sultan Deli, Makmoen Al Rasjid Perkasa Alamsyah dan Tuanku Raja Muda sehingga membuka jalan baginya untuk menjalankan usaha. Sultan memberinya konsesi penyediaan atap daun nipah untuk keperluan perkebunan tembakau untuk pembuatan bangsal.
karena kerja kerasnya, Tjong A Fie menjadi orang Tionghoa pertama yang memiliki perkebunan yang sangat luas. Ia mengembangkan usaha perkebunan tembakau di Deli, teh di daerah Bandar Baru, dan Si Bulan, serta perkebunan kelapa. Di Sumatera Barat, ia menanamkan modalnya di bidang pertambangan di Sawah Lunto, Bukit Tinggi. Perkebunan yang dimilikinya mempekerjakan lebih dari 10.000 orang tenaga kerja dan luas kebunnya mengalahkan luas perkebunan milik Deli Matschapaij yang dirintis oleh Jacobus Nienhuys. Bahkan, ketika itu pemerintah Belanda memberikan 17 kebun kepadanya untuk dikelola.
Bersama kakaknya Tjong Yong Hian, Tjong A Fie bekerjasama dengan Chang Pi Shih, paman sekaligus konsul Tiongkok di Singapura mendirikan perusahaan kereta api The Chow-Chow & Swatow Railyway Co.Ltd. di Tiongkok Selatan. Karena jasanya tersebut mereka berkesempatan bertemu muka dengan Ibu Suri Cixi di Beijing.
Dalam menjalankan bisnisnya, Tjong A Fie selalu mengamalkan 3 hal yakni, jujur, setia dan bersatu. Ia selau berprinsip "di mana langit dijunjung di situ bumi dipijak". Ia pun membagikan lima persen keuntungannya kepada para pekerjanya.

Tjong A Fie dikenal sangat berjasa dalam membangun kota Medan yang pada saat itu dinamakan Deli Tua, terutama kawasan pemukiman etnis Tionghoa (Kampung Tionghoa). Beberapa jasanya dalam usaha mengembangkan kota Medan adalah menyumbangkan menara lonceng untuk Gedung Balai Kota Medan yang lama, pembangunan Istana Maimoon, Gereja Uskup Agung Sugiopranoto, Kuil Buddha di Brayan, kuil Hindu untuk warga India, Batavia Bank, Deli Bank, Jembatan Kebajikan di Jalan Zainul Arifin serta mendirikan rumah sakit Tionghoa pertama di Medan bernama Tjie On Jie Jan. Ia dikenal pula sebagai pelopor industri perkebunan dan transportasi kereta api pertama di Sumatera Utara, yakni Kereta Api Deli (DSM), yang menghubungkan kota Medan dengan pelabuhan Belawan.
Tjong A Fie dikenal dermawan dan sangat dekat dengan masyarakat pribumi dan Tionghoa kota Medan sehingga ia disenangi orang-orang. Sebagai dermawan, ia banyak menyumbang untuk warga yang kurang mampu. Ia sangat menghormati warga muslim, bahkan berperan serta dalam mendirikan tempat ibadah yakni Masjid Raya Al-Mashum dan Masjid Gang Bengkok serta ikut merayakan hari-hari besar keagamaan bersama mereka. Nama Tjong A Fie pernah akan dijadikan sebagai nama sebuah jalan di kota Medan, tapi dibatalkan dan jalan itu menjadi Jalan K.H. Ahmad Dahlan. Karena sifatnya yang dermawan dan toleran tanpa membeda-bedakan bangsa, ras, agama dan asal-usul, Tjong A Fie senantiasa dikenang oleh warga Medan dan sekitarnya.

Tjong A Fie tutup usia pada tanggal 4 Februari 1921 karena menderita apopleksia atau pendarahan otak. Seluruh masyarakat kota Medan turut berduka, ribuan orang pelayat datang dari kota Medan dan Sumatera Timur, Aceh, Padang, Penang, Malaya, Singapura dan Pulau Jawa. Prosesi Pemakaman Tjong A Fie berlangsung dengan megah sesuai dengan tradisi dan jabatannya.
Empat bulan sebelum menghembuskan napas terakhir, Tjong A Fie mewasiatkan agar seluruh kekayaannya di Sumatera maupun di luar Sumatera kepada Yayasan Toen Moek Tong yang harus didirikan di Medan dan Sungkow pada saat ia meninggal dunia. Ia menuliskan permintaanya agar yayasan tersebut memberikan bantuan keuangan kepada pemuda berbakat dan berkelakuan baik dan ingin menyelesaikan pendidikannya, tanpa membedakan kebangsaan. Tjong juga berpesan agar yayasan membantu mereka yang tidak mampu bekerja dengan baik karena cacat serta membantu para korban bencana alam tanpa memandang kebangsaan atau etnis.