Tidak ada bukti pasti mengenai kapan persisnya gajah perang mulai digunakan. Himne religius Weda India terawal. Rigweda, bertahun antara akhir milenium kedua dan awal milenium pertama SM, menyebutkan tentang penggunaan gajah sebagai kendaraan—tepatnya dewa Indra yang mengendarai gajah putihnya, Airawata—namun tidak disebutkan mengenai penggunaan gajah dalam perang, dan lebih berfokus pada peran Indra dalam memimpin pasukan berkuda. Sementara dalam kisah Mahabharata, yang berasal dari sekitar abad kedelapan SM dalam bentuk terawalnya, dan Ramayana, yang berasal dari sekitar abad keempat SM, menyebutkan adanya gajah perang, mengindikasikan awal penggunaan gajah dalam perang. Raja-raja India kuno sangat memandang tinggi fungsi gajah perang. Beberapa raja bahkan berpendapat bahwa pasukan tanpa gajah sama lemahnya dengan hutan tanpa singa, kerajaan tanpa raja, keberanian tanpa senjata.

Dari India, penggunaan gajah dalam militer menyebar ke barat ke Kekaisaran Persia. Di sana gajah perang digunakan dalam beberapa kampanye militer dan pada gilirannya ikut memengaruhi kampanye militer Aleksander yang Agung. Konfrontasi pertama antara pasukan Aleksander dan gajah perang Persia terjadi pada Pertempuran Gaugamela (331 SM) saat Persia mengerahkan lima belas gajah perang. Gajah-gajah tersebut ditempatkan di bagian tengah barisan Persia dan cukup membuat pasukan Makedonia terkejut, sampai-sampai Aleksander merasa harus memberi kurban pada Dewa Rasa Takut pada malam sebelum pertempuran. Namun menurut beberapa sumber, gajah-gajah itu tidak banyak terlibat dalam pertempuran karena terlalu lelah setelah melakukan perjalanan panjang menuju medan pertempuran. Aleksander menang secara meyakinkan di Gaugamela, namun dia sangat terpukau pada gajah perang Persia. Dia pun kemudian mengambil lima belas gajah perang tersebut dan memasukkannya ke dalam pasukannya dan jumlah itu bertambah ketika Aleksander menaklukan sisa wilayah Persia.

Ketika Alexander yang Agung memasuki daerah India, dia sudah memiliki pasukan gajah perang di bawah komandonya sendiri. Di India, Aleksander harus menghadapi pasukan Raja Porus, yang berkuasa di daerah Punjab di Pakistan modern. Raja Porus mengerahkan antara 85 sampai 100 gajah perang pada Pertempuran Sungai Hydaspes. Alexander melawan dengan hanya mengerahkan pasukan infantri dan kavalerinya, yang pada akhirnya berhasil mengalahkan pasukan Porus, termasuk pasukan gajahnya, meskipun korban juga berjatuhan di pihak Alexander. Alexander terus melaju ke timur sampai dia mengetahui bahwa raja-raja di Kekaisaran Nanda dan Gangaridai mampu mengerahkan antara 3.000 sampai 6.000 gajah perang. Jumlah ini jauh lebih besar daripada pasukan gajah yang dimiliki oleh pasukan Yunani ataupun Persia. Menghadapi kekuatan sebesar ini, pasukan Aleksander, yang jauh lebih sedikit, akhirnya memilih untuk menghentikan pergerakan mereka di India. Sepulangnya dari India, Alexander membentuk suatu pasukan gajah untuk menjaga istananya di Babilonia, dan membuat pos elephantarch untuk memimpin unit gajahnya.

Penggunaan gajah dalam perang terus menyebar. Para penerus kekaisaran Aleksander, yaitu para Diadokhoi, menggunakan ratusan gajah India dalam perang mereka. Penggunaan gajah perang oleh Diadokhoi yang paling terkenal adalah oleh Kekaisaran Seleukos, yang memperoleh gajah perangnya dari India. Perang antara Kekaisaran Seleukos dengan Chandragupta Maurya (Sandrokottos), pendiri Kekaisaran Maurya (Perang Seleukia-Maurya), pada 305 SM berakhir dengan penyerahan wilayah timur Seleukos yang cukup luas, yang ditukar dengan 500 ekor gajah perang India. Jumlah tersebut relatif kecil dibandingkan keseluruhan pasukan gajah Maurya, yang disebut-sebut mencapai 9.000 ekor gajah perang. Seleukos menggunakan gajah perang mereka pada Pertempuran Ipsos empat tahun kemudian. Kekaisaran Seleukos juga menggunakan gajah perang untuk menghentikan Pemberontakan Makabim di Judea. Ketika itu, gajah-gajah perang berhasil membuat para prajurit Yahudi, yang menggunakan senjata yang lebih sederhana, ketakutan. Eleazar Makkabeus, pria termuda di antara Hasmonean bersaudara, berhasil membunuh seekor gajah perang dalam Pertempuran Beth Zakaria. Dia menusuk perut sang gajah dengan tombaknya sebelum akhirnya dia mati tertindih oleh badan gajah tersebut. Dia menyerang gajah tersebut karena secara salah mengira bahwa gajah itu mengangkut Antiokhos V, raja Seleukos. Meskipun dia keliru dan akhirnya mati, tindakannya menjadi terkenal.

Penggunaan pertama gajah perang di Eropa adalah pada tahun 318 SM oleh Polyperkhon, salah satu mantan jenderal Aleksander Agung, ketika itu dia mengepung Megalopolis di Peloponnesos dalam Perang Diadokhoi. Dia mengerahkan 60 gajah yang dibawa dari Asia bersama pawang mereka. Seorang veteran dari pasukan Aleksander yang bernama Damis ikut membantu rakyat Megalopolis bertahan menghadapi gajah-gajah itu dan pada akhirnya Polyperkhon dikalahkan. Gjah-gajah itu kemudian diambil oleh Kassandros dan dipindahkan, sebagian lewat laut, ke medan tempur lainnya d Yunani. Diduga bahwa Kassandros adalah yang pertama kali membuat kendaraan laut pengangkut gajah. Beberapa gajah mati karena kelaparan pada tahun 316 SM ketika mengepungan kota Pydna di Makedonia. Gajah-gajah Polyperkhon lainnya digunakan di berbagai wilayah di Yunani oleh Kassandros.

Bangsa Mesir dan Kartago juga menggunakan gajah untuk perang, seperti yang dilakukan oleh bangsa Numidia dan Kush. Jenis gajah yang digunakan adalah gajah hutan Afrika Utara (Loxodonta africana pharaohensis), yang kelak punah akibat eksploitasi yang berlebihan. Gajah jenis ini berukuran lebih kecil dibandingkan gajah yang digunakan oleh Kekaisaran Seleukos di daerah timur Mediterania, khususnya gajah dari Suriah (Elephas maximus asurus) yang tingginya mencapai 2,5-3,5 meter (8–10 kaki) sampai ke pundak. Ada kemungkinan bahwa beberapa gajah Suriah diperdagangkan ke daerah-daerah di sekitarnya. Pendapat ini didukung oleh bukti yang menunjukkan bahwa gajah favorit Hannibal dinamai Surus (dari Suriah) dan kemungkinan berasal dari Suriah. Meskipun begitu, bukti ini tidak terlalu meyakinkan.

Sejak akhir 1940-an, beberapa sejarawan berpendapat bahwa gajah hutan Afrika yang digunakan oleh Numidia, Kartago, dan Mesir tidak membawa rengga (tempat duduk) atau menara kecil di punggungnya dalam pertempuran, mungkin karena fisiknya yang tidak sekuat gajah Asia. Beberapa referensi mengenai keberadaan rengga pada gajah perang Afrika hanyalah penggambaran puitis dan anakronistis, namun beberapa sumber lainnya juga tidak bisa begitu saja diabaikan. Ada kesaksian kontemporer yang secara jelas menyebutkan bahwa pasukan Juba I dari Numidia menggunakan gajah yang berengga pada 46 SM. Pendapat ini dididukung oleh gambar gajah Afrika berengga pada koin Juba II. Rengga juga diceritakan ada pada pasukan Ptolemaios dari Mesir. Polybius melaporkan bahwa dalam Pertempuran Raphia pada 217 SM, gajah-gajah perang milik Ptolemaios IV membawa rengga; gajah-gajah ini jauh lebih kecil daripada gajah Asia yang digunakan oleh Kekaisaran Seleukos dan kemungkinan juga gajah hutan Afrika. Juga ada bukti bahwa gajah perang Kartago dilengkapi dengan rengga atau menara kecil untuk keperluan militer tertentu.

Di daerah selatan, suku-suku tertentu memiliki akses terhadap gajah Sabana Afrika (Loxodonta africana oxyotis). Gajah jenis ini berukuran lebih besar dibandingkan gajah hutan Afrika atau gajah Asia, namun hewan ini sukar dijinakkan dan karena itu tidak banyak digunakan dalam perang. Ukuran tidak selalu menjadi faktor yang menentukan. Contohnya, gajah yang digunakan oleh Mesir dalam Pertempuran Raphia pada 217 SM lebih kecil daripada gajah Asia milik lawan mereka, Antiokhos III yang Agung dari Suriah. Namun, pada akhirnya pasukan Mesirlah yang berhasil menang. Beberapa gajah Asia diperdagangkan ke barat, tepatnya ke pasar Mediterania; Plinius Tua menyebutkan bahwa gajah Sri Lanka, misalnya, lebih besar, lebih galak, dan dengan demikian lebih baik dalam perang jika dibandingkan gajah lokal. Keunggulan ini, serta dekatnya pasokan ke pelabuhan, membuat gajah Sri Lanka menjadi komoditas perdagangan yang menguntungkan.

Meskipun penggunaan gajah perang di Mediterania paling sering dihubungan dengan perang antara Kartago dan Romawi, namun gajah perang pertama kali diperkenalkan ke Mediterania oleh salah satu kerajaan di Yunani, yaitu Epiros. Raja Pirros dari Epiros membawa serta dua puluh ekor gajah untuk menyerang Romawi dalam Pertempuran Herakleia pada 280 SM. Dia meninggalkan lima puluh ekor gajah lainnya, yang dipinjam dari Firaun Ptolemaios II, di daratan utama Yunani. Ketika itu pasukan Romawi tidak siap menghadapi pasukan gajah dan pasukan Yunani sukses mengalahkan mereka. Setahun kemudian, Yunani kembali mengerahkan pasukan gajah untuk menghadapi Romawi dalam Pertempuran Asculum. Kali ini pasukan Romawi sudah bersiap-siap dengan menggunakan api serta senjata antigajah, yaitu kereta perang yang ditarik kerbau dan dilengkapi dengan tombak panjang untuk melukai gajah dan api untuk menakuti gajah serta dikawal oleh pasukan bersenjata tombak untuk mengusir gajah. Serangan terakhir gajah Yunani pada akhirnya berhasil mengalahkan pasukan Romawi lagi. Namun, meskipun menang, Pirros menderita kerugian yang sangat besar, sampai-sampai dia berkata bahwa walaupun sekali lagi dia menang, pasukannya tetap akan dihancurkan oleh Romawi. Ungkapan ini kemudian terkenal sebagai istilah yang disebut Kemenangan Piris.

Terilhami oleh kehebatan gajah perang, Kartago pun mulai menggunakan gajah perang secara besar-besaran pada Perang Punisia Pertama. Namun, hasilnya kurang memuaskan. Dalam Pertempuran Adys pada 255 SM, gajah perang Kartago menjadi kurang efektif karena medannya kurang menguntungkan. Sedangkan dalam Pertempuran Panormus pada 251 SM, pasukan Romawi berhasil menakut-nakuti gajah perang Kartago, sehingga hewan-hewan tersebut kabur dari medan tempur. Pada Perang Punisia Kedua, Hannibal memimpin pasukan gajah perang menyeberangi pegunungan Alpen, meskipun pada akhirnya sebagian besar gajah itu mati karena kondisi lingkungan di sana. Pasukan Romawi sendiri telah mengembangkan taktik anti-gajah perang, yang berujung pada kemenangan Romawi atas Hannibal dalam Pertempuran Zama pada 202 SM. Ketika itu gajah perang Hannibal menjadi tidak efektif karena begitu disiplinnya pasukan manipulus Romawi, yang membiarkan gajah perang Hannibal lewat begitu saja.

Pada akhir Perang Punisia, Romawi mengambil banyak gajah perang Kartago dan menggunakannya untuk keperluan militer mereka sendiri. Ketika menaklukan Yunani, Romawi mulai mengerahkan pasukan gajah perang, termasuk di antaranya pada Invasi Makedonia pada 199 SM, Pertempuran Kinoskefalai pada 197 SM, pertempuran Thermopilai, dan Pertempuran Magnesia pada 190 SM, saat lima puluh gajah perang Antiokhos III menghadapi enam belas gajah perang Romawi. Bertahun-tahun kemudian, Romawi mengerahkan dua puluh dua gajah perang dalam Pertempuran Pidna pada 168 SM. Gajah perang juga digunakan oleh Romawi dalam kampanye militer melawan bangsa Keltiberia dan Galia. Yang paling terkenal adalah ketika Romawi menggunakan gajah perang dalam Invasi Britania. Satu penulis kuno menyebutkan bahwa "Caesar memiliki seekor gajah yang besar, yang dilengkapi dengan baju perang dan membawa menara kecil, yang ditempati oleh pemanah dan pelempar batu. Ketika hewan tak dikenal ini menyeberangi sungai, pasukan Briton dan kuda-kuda mereka kabur melarikan diri." Akan tetapi, dia mungkin salah membedakan gajah tersebut dengan gajah serupa yang digunakan pada penaklukan terakhir Britania oleh Claudius. Setidaknya satu kerangka gajah dengan senjata batu api ditemukan di Inggris dan awalnya dikira sebagai gajah Romawi, meskipun kemudian terbukti sebagai kerangka mammoth dari Zaman batu.

Pada masa Claudius, penggunaan gajah perang mulai berkurang. Penggunaan terakhir gajah perang yang signifikan di Mediterania terjadi dalam Pertempuran Thapsus, 46 SM. Ketika itu Julius Caesar mempersenjatai legion kelimanya (Alaudae) dengan kapak dan dia memerintahkan pasukannya untuk menyerang kaki gajah perang yang dikerahkan oleh Romawi. Pasukan Caesar pun meraih kemenangan. Pertempuran Thapsus merupakan penggunaan terakhir gajah perang yang signifikan di Romawi.

Kekaisaran Parthia di Persia beberapa kali menggunakan gajah perang dalam perang melawan Kekaisaran Romawi. Sementara di Kekaisaran Sassaniyah, yang merupakan penerus Kekaisaran Parthia, gajah perang merupakan komponen militer yang penting. Kekaisaran Sassaniyah mengerahkan gajah perang dalam kampanye-kampanye militer mereka melawan musuh-musuh di barat. Salah satu konflik yang terkenal adalah Pertempuran Vartanantz pada 451 M, saat gajah perang Sassaniyah berhasil menakut-nakuti pasukan Armenia. Contoh lainnya adalah Pertempuran al-Qādisiyyah pada 636 M, saat tiga puluh tiga gajah perang dikerahkan oleh Kekaisaran Sassaniyah untuk melawan pasukan Arab. Pasukan gajah Sassaniyah memegang keunggulan dibandingkan pasukan kavaleri Sassaniyah. Pasukan Sassaniyah memperoleh gajah dengan cara memasoknya dari India. Pasukan gajah perang Sassaniyah dipimpin oleh seorang pejabat yang disebut Zend−hapet, atau "Komandan India", entah karena gajahnya memang didapat dari India atau karena gajah-gajah itu diurus oleh orang Hindustan asli. Pasukan gajah Sassaniyah tidak pernah sekuat pasukan gajah India dan setelah Kekaisaran Sassaniyah runtuh, penggunaan gajah perang di daerah ini juga berhenti.

Di Tiongkok, penggunaan gajah perang agak jarang dibandingkan dengan di lokasi lainnya. Menurut catatan tertua yang pernah ditemukan, gajah perang digunakan pada 554 M, ketika Dinasti Wei Barat mengerahkan dua ekor gajah berbaju perang dari Lingnan ke medan tempur dengan dipandu oleh budak-budak Melayu dan dilengkapi dengan menara kayu serta pedang yang diikatkan ke belalai mereka. Gajah-gajah itu berhasil dihalau oleh para pemanah.

Dinasti Han pada abad kedua SM berperang dengan kerajaan Yue dari Asia Tenggara yang menggunakan gajah perang. Taktik yang digunakan untuk menghalau gajah-gajah perang tersebut di antaranya adalah dengan menggunakan api dan panah busur silang yang sangat banyak di samping menggali lubang dan parit yang diisi dengan tombak.

Di Asia Tenggara, di sepanjang perbatasan Vietnam modern, pasukan Champa mengerahkan sampai 602 ekor gajah perang melawan Dinasti Sui. Pasukan Sui mengalahkan gajah-gajah perang itu dengan membuat perangkap berupa lubang-lubang, selain itu mereka juga menggunakan banyak busur silang.

Catatan sejarah Sri Lanka mengindikasikan penggunaan gajah sebagai kendaraan yang dinaiki oleh raja ketika sedang memimpin pasukan dalam pertempuran, dan beberapa gajah tercatat dalam sejarah. Gajah Kandula merupakan kendaraan raja Dutugamunu, sedangkan Maha Pambata, "Batu Besar", adalah kendaraan raja Elara dalam pertempuran pada 200 SM.