Setelah Perjanjian Hudaibiyyah disepakati, Rasullulah mengirimkan surat-surat dakwah sekaligus berdiplomasi kepada para penguasa negeri yg berbatasan dengan jazirah arab, termasuk kepada Heraklius. Pada Tahun 7 hijriah atau 628 AD, Rasulullah menugaskan al-Harits bin ‘Umair untuk mengirimkan surat dakwah kepada Gubernur Syam (Irak) bernama Hanits bin Abi Syamr Al-Ghassani yg baru diangkat oleh Kekaisaran Romawi. Dalam Perjalanan, di daerah sekitar Mut'ah, al-Harits bin ‘Umair dicegat dan dibunuh oleh penguasa setempat bernama Syurahbil bin ‘Amr al-Ghassani pemimpin dari suku Ghassaniyah (Pada waktu itu yang berkuasa di wilayah Palestina dan sekitarnya). Dan Pada tahun yg sama Utusan Rasulullah pada Banu Sulayman dan Dhat al Talh daerah di sekitar negeri Syam (Irak) juga dibunuh oleh penguasa sekitar. Sebelumnya, tidak pernah seorang utusan dari Rasulullah shallallahu ‘alaihi wasallam dibunuh dalam misinya.

Sedangkan menurut sumber-sumber Barat modern, pertempuran ini adalah upaya penaklukan yang gagal terhadap bangsa Arab di sebelah timur Sungai Jordan. Tentunya hal ini dikritisi sebab tidak mampu menjelaskan secara logis latar belakang pertempuran, antara pasukan muslim yg bahkan belum mempersatukan jazirah Arab dan belum menguasai Makkah yang berani menentang kekuasaan bangsa adidaya Romawi di daerah utara yang sangat jauh dari Madinah.

Menurut sumber, pihak Islam mengirimkan 3.000 pasukan yang dipimpin oleh Zaid bin Haritsah, Ja'far bin Abu Thalib, dan Abdul Rahawah sesuai hadist nabi Muhammad: "Pasukan ini dipimpin oleh Zaid bin Haritsah, bila ia gugur komando dipegang oleh Ja’far bin Abu Thalib, bila gugur pula panji diambil oleh Abdullah bin Rawahah –saat itu beliau meneteskan air mata- selanjutnya bendera itu dipegang oleh seorang ‘pedang Allah’ dan akhirnya Allah Subhânahu wata‘âlâ memberikan kemenangan".
Di lain pihak, Romawi mengerahkan 100.000 pasukan Syurahbil bin ‘Amr mengerahkan 100.000 tentara yang terdiri dari kabilah Lakham, Juzdan, Qain dan Bahra‘. Kedua pasukan itupun bergabung. Berdasarkan informasi, pasukan tersebut dipimpin oleh Theodore, saudara Heraklius.

Singkatnya, pasukan islam yang berjumlah 3000 personel diberangkatkan. Ketika mereka sampai di daerah Ma’an, terdengar berita bahwa Heraklius mempersiapkan 100 ribu pasukannya. Selain itu, kaum Nasrani dari beberapa suku Arab pun telah siap dengan jumlah yang sama. Mendengar kabar yang demikian, sebagian sahabat radhiyallahu ‘anhum mengusulkan supaya meminta bantuan pasukan kepada Rasulullah atau beliau memutuskan suatu perintah.

‘Abdullah bin Rawanah radhiyallahu ‘anhu lantas mengobarkan semangat juang para sahabat radhiyallahu ‘anhum pada waktu itu dengan perkataannya , “Demi Allah, sesungguhnya perkata yang kalian tidak sukai ini adalah perkata yang kamu keluar mencarinya, yaitu syahadah (gugur dimedan perang dijalan Allah Azza wa Jalla). Kita itu tidak berjuang karena karena jumlah pasukan atau kekuatan. Kita berjuang untuk agama ini yang Allah Azza wa Jalla telah memuliakan kita dengannya. Bergeraklah. Hanya ada salah satu dari dua kebaikan : kemenangan atau gugur (syahid) di medan perang.”
Orang-orang menanggapi dengan berkata, “ Demi Allah, Ibnu Rawanah berkata benar”.
Zaid bin Haritsah radhiyallahu ‘anhu, panglima pertama yang ditunjuk Rasulullah shalallahu ‘alaihi wassalam, kemudian membawa pasukan ke wilayah Mu’tah. Dua pasukan berhadapan dengan sengit. Komandan pertama ini menebasi anak panah-anak panah pasukan musuh sampai akhirnay tewas terbunuh di jalan Allah Azza wa Jalla.

Bendera pun beralih ke tangan Ja’far bin Abi Thalib radhiyallahu ‘anhu. Sepupu Rasulullah shalallahu ‘alaihi wassalam ini berperang sampai tangan kanannya putus. Bendera beliau pegangi dengan tangan kiri, dan akhirnya putus juga oleh tangan musuh. Dalam kondisi demikian, semangat beliau tak mengenal surut, saat tetap berusaha mempertahankan bendera dengan cara memeluknya sampai beliau gugur oleh senjata lawan. Berdasarkan keterangan Ibnu ‘Umar radhiyallahu ‘anhu, salah seorang saksi mata yang ikut serta dalam perang itu, terdapat tidakkurang 90 luka di bagian tubuh depan beliau baik akibat tusukan pedang dan maupun anak panah.

Giliran Abdullah bin Rawanah radhiyallahu ‘anhu pun datang. Setelah menerjang musuh, ajal pun memjemput beliau di medan peperangan.

Tsabit bin Arqam radhiyallahu ‘anhu mengambil bendera yang telah tak bertuan itu dan berteriak memanggil para Sahabat Nabi agar menentukan pengganti yang memimpin kaum muslimin. Maka, pilihan mereka jatuh pada Khalid bin Walid radhiyallahu ‘anhu.

Khalid bin Walid Radhiyallâhu ‘anhu sangat sadar, tidaklah mungkin menandingi pasukan sebesar pasukan Romawi tanpa siasat yang jitu. Ia lalu mengatur strategi, ditebarkan rasa takut ke diri musuh dengan selalu mengganti formasi pasukan setiap hari. Pasukan di barisan depan ditukar dibelakang, dan yang dibelakang berada didepan. Pasukan sayap kanan berganti posisi ke kiri begitupun sebaliknya. Tujuannya adalah agar pasukan romawi mengira pasukan muslimin mendapat bantuan tambahan pasukan baru.

Selain itu, khalid bin Walid mengulur-ulur waktu peperangan sampai sore hari karena menurut aturan peperangan pada waktu itu, peperangan tidak boleh dilakukan pada malam hari. Khalid memerintahkan beberapa kelompok prajurit kaum muslimin pada pagi harinya agar berjalan dari arah kejauhan menuju medan perang dengan menarik pelepah-pelepah pohon sehingga dari kejauhan terlihat seperti pasukan bantuan yang datang dengan membuat debu-debu berterbangan.

Pasukan musuh yang menyaksikan peristiwa tersebut mengira bahwa pasukan muslim benar-benar mendapatkan bala bantuan. Mereka berpikir, bahwa kemarin dengan 3000 orang pasukan saja merasa kewalahan, apalagi jika datang pasukan bantuan. Karena itu, pasukan musuh merasa takut dan akhirnya mengundurkan diri dari medan pertempuran.

Pasukan Islam lalu kembali ke Madinah, mereka tidak mengejar pasukan Romawi yang lari, karena dengan mundurnya pasukan Romawi berarti Islam sudah menang.

Ibnu Ishaq dan Ibnu Hisyam menyebutkan bahwa pertempuran ini berakhir imbang. Hal karena kedua belah pasukan sama-sama menarik mundur pasukannya yang lebih dahulu dilakukan oleh Romawi. Sedangkan Ibnu Katsir menyebutkan bahwa dalam pertempuran ini kemenangan berada di tangan pasukan Muslimin.
Sebenarnya tanpa ada justifikasi kemenanganpun akan diketahui ada dipihak siapa. Keberanian pasukan yang hanya berjumlah 3.000 dengan gagah berani menghadapi dan dapat mengimbangi pasukan yang sangat besar dan bersenjata lebih canggih dan lengkap cukup menjadi bukti. Bahkan jika menghitung jumlah korban dalam perang itu siapapun akan langsung mengatakan bahwa umat islam menang. Mengingat korban dari pihak muslim hanya 12 orang (al-Bidayah wan Nihayah (4/214)). Menurut riwayat Ibnu Ishaq 8 orang, sedang dalam kitab as-Sîrah ash-Shahîhah (hal.468) 13 orang) sedangkan pasukan Romawi tercatat sekitar 20.000 orang.