Kota Mekah, dengan kemuliaan yang disandangnya, ia memiliki hukum-hukum yang telah ditetapkan syariat, sebagai bukti yang menunjukkan kemuliaannya. Siapa pun dilarang melakukan perbuatan maksiat. Meski larangan ini telah jelas, ternyata dalam perjalanan sejarah kaum Muslimin, khususnya kota Mekah dan Ka’bah, pernah terjadi pelanggaran yang sangat memilukan dan menodai Ka’bah secara khusus, yaitu terjadinya penjarahan Hajar Aswad. Hajar Aswad merupakan batu termulia. Dia berasal dari Jannah. Rasulullah shallallahu ‘alaihi wa sallam bersabda : “Hajar Aswad turun dari surga, dalam kondisi berwarna lebih putih dari air susu. Kemudian, dosa-dosa anak Adam-lah yang membuatnya sampai berwarna hitam.”[Hadits shahih riwayat at Tirmidzi. Dishahihkan oleh al Albani. Lihat Shahih Sunan at Tirmidzi, no. 877].

Tentang keutamaannya yang lain, beliau shallallahu ‘alaihi wa sallam bersabda : “Sesungguhnya batu ini akan punya lisan dan dua bibir akan bersaksi bagi orang yang menyentuhnya di hari Kiamat dengan cara yang benar.” [HR al Hakim dan Ibnu Hibban, dan dishahihkan al Albani. Lihat Shahihul-Jami', no. 2184.]. Dari Ibnu ‘Umar, saya mendengar Rasulullah shallallahu ‘alaihi wa sallam bersabda: “Sesungguhnya mengusap keduanya (Hajar Aswad dan Rukun Yamani) akan menghapus dosa.”[ Hadits shahih riwayat an Nasaa-i. Dishahihkan oleh al Albani. Lihat Shahih Sunan an Nasaa-i, no. 2919].
Hajar Aswad, dahulu berbentuk satu bongkahan. Namun setelah terjadinya penjarahan yang terjadi pada tahun 317H, pada masa pemerintahan al Qahir Billah Muhammad bin al Mu’tadhid dengan cara mencongkel dari tempatnya, Hajar Aswad kini menjadi delapan bongkahan kecil. Batu yang berwarna hitam ini berada di sisi selatan Ka’bah.

Adalah Abu Thahir, Sulaiman bin Abu Said al Husain al Janabi, tokoh golongan Qaramithah pada masanya, telah menggegerkan dunia Islam dengan melakukan kerusakan dan peperangan terhadap kaum Muslimin. Kota yang suci, Mekah dan Masjidil Haram tidak luput dari kejahatannya. Dia dan pengikutnya melakukan pembunuhan, perampokan dan merusak rumah-rumah. Bila terdengar namanya, orang-orang akan berusaha lari untuk menyelamatkan diri [Al Bidayah wan Nihayah, 11/187].
Kisahnya, pada musim haji tahun 317H tersebut, rombongan haji dari Irak pimpinan Manshur ad Dailami bertolak menuju Mekah dan sampai dalam keadaan selamat. Namun, tiba-tiba pada hari Tarwiyah (tanggal 8 Dzul Hijjah), orang-orang Qaramithah (salah satu sekte Syiah Isma’iliyah) melakukan huru-hara di tanah Haram. Mereka merampok harta-harta jamaah haji dan menghalalkan untuk memeranginya. Banyak jamaah haji yang menjadi korban, bahkan, meskipun berada di dekat Ka’bah. Sementara itu, pimpinan orang-orang Qaramithah ini, yaitu Abu Thahir –semoga mendapatkan balasan yang sepadan dari Allah– berdiri di pintu Ka’bah dengan pengawalan, menyaksikan pedang-pedang pengikutnya merajalela, menyudahi nyawa-nyawa manusia. Dengan congkak nya ia berkata : “Saya adalah Allah. Saya bersama Allah. Sayalah yang menciptakan makhluk-makhluk. Dan sayalah yang akan membinasakan mereka”.

Massa berlarian menyelamatkan diri. Sebagian berpegangan dengan kelambu Ka’bah. Namun, mereka tetap menjadi korban, pedang-pedang kaum Syi’ah Qaramithah ini menebasnya. Begitu juga, orang-orang yang sedang thawaf, tidak luput dari pedang-pedang mereka, termasuk di dalamnya sebagian ahli hadits. Usai menuntaskan kejahatannya yang tidak terkira terhadap para jamaah haji, Abu Thahir memerintahkan pasukan untuk mengubur jasad-jasad korban keganasannya tersebut ke dalam sumur Zam Zam. Sebagian lainnya, di kubur di tanah Haram dan di lokasi Masjidil Haram. Kubah sumur Zam Zam ia hancurkan. Dia juga memerintahkan agar pintu Ka’bah dicopot dan melepas kiswah nya. Selanjutnya, ia merobek-robek nya di hadapan para pengikutnya. Dia meminta kepada salah seorang pengikutnya untuk naik ke atas Ka’bah dan mencabut talang Ka’bah. Namun tiba-tiba, orang tersebut terjatuh dan mati seketika. Abu Thahir pun mengurungkan niatnya untuk mengambil talang Ka’bah. Kemudian, ia memerintahkan untuk mencongkel Hajar Aswad dari tempatnya. Seorang lelaki memukul dan mencongkelnya. Dengan nada menantang, Abu Thahir sesumbar : “Mana burung-burung Ababil? Mana bebatuan dari Neraka Sijjil?”

Peristiwa penjarahan Hajar Aswad ini, membuat Amir Mekah dan keluarganya dengan didukung sejumlah pasukan mengejar mereka. Amir Mekah berusaha membujuk Abu Thahir agar mau mengembalikan Hajar aswad ke tempat semula. Seluruh harta yang dimiliki Sang Amir telah ia tawarkan untuk menebus Hajar Aswad itu. Namun Abu Thahir tidak bergeming. Bahkan Sang Amir, anggota keluarga dan pasukannya menjadi korban berikutnya. Abu Thahir pun melenggang menuju daerahnya dengan membawa Hajar Aswad dan harta-harta rampasan dari jamaah haji. Batu dari Jannah ini, ia bawa pulang ke daerahnya, yaitu Hajr (Ahsa), dan berada di sana selama 22 tahun.
Menurut Ibnu Katsir, golongan Qaramithah membabi buta semacam itu, karena mereka sebenarnya kuffar zanadiqah. Mereka berafiliasi kepada regim Fathimiyyun yang telah menancapkan hegemoninya pada tahun-tahun itu di wilayah Afrika. Pemimpin mereka bergelar al Mahdi, yaitu Abu Muhammad ‘Ubaidillah bin Maimun al Qadah. Sebelumnya ia seorang Yahudi, yang berprofesi sebagai tukang emas. Lantas, mengaku telah masuk Islam, dan mengklaim berasal dari kalangan syarif (keturunan Nabi Muhammad). Banyak orang dari suku Barbar yang mempercayainya. Hingga pada akhirnya, ia dapat memegang kekuasaan sebagai kepala negara di wilayah tersebut. Orang-orang Qaramtihah menjalin hubungan baik dengannya. Mereka (Qaramithah) akhirnya menjadi semakin kuat dan terkenal.

Perbuatan Abu Thahir al Qurmuthi, orang yang memerintahkan penjarahan Hajar Aswad ini, oleh Ibnu Katsir dikatakan : “Dia telah melakukan ilhad (kekufuran) di Masjidil Haram, yang tidak pernah dilakukan oleh orang sebelumnya dan orang sesudahnya”. [Al Bidayah wan Nihayah, 11/191. Ibnu Katsir mengisahkan peristiwa ini di halaman 190-192]. Setelah masa 22 tahun Hajar Aswad dalam penguasaan Abu Thahir, ia kemudian dikembalikan. Tetapnya pada tahun 339H. Pada saat mengungkapkan kejadian tahun 339 H, Ibnu Katsir menyebutnya sebagai tahun berkah, lantaran pada bulan Zulhijah tahun tersebut, Hajar Aswad dikembalikan ke tempat semula. Peristiwa kembalinya Hajar Aswad sangat menggembirakan segenap kaum Muslimin.
Pasalnya, berbagai usaha dan upaya untuk mengembalikannya sudah dilakukan. Amir Bajkam at Turki pernah menawarkan 50 ribu Dinar sebagai tebusan Hajar Aswad. Tetapi, tawaran ini tidak meluluhkan hati Abu Thahir, pimpinan Qaramithah saat itu.

Kaum Qaramithah ini berkilah: “Kami mengambil batu ini berdasarkan perintah, dan akan mengembalikannya berdasarkan perintah orang yang bersangkutan”. Pada tahun 339 H, sebelum mengembalikan ke Mekah, orang-orang Qaramithah mengusung Hajar Aswad ke Kufah, dan menggantungkannya pada tujuh tiang Masjid Kufah. Agar, orang-orang dapat menyaksikannya. Lalu, saudara Abu Thahir menulis ketetapan : “Kami dahulu mengambilnya dengan sebuah perintah. Dan sekarang kami mengembalikannya dengan perintah juga, agar pelaksanaan manasik haji umat menjadi lancar”. Akhirnya, Hajar Aswad dikirim ke Mekah di atas satu tunggangan tanpa ada halangan. Dan sampai di Mekah pada bulan Dzul Qa’dah tahun 339H [Al Bidayah wan Nihayah, 11/265].

Dikisahkan oleh sebagian orang, bahwa pada saat penjarahan Hajar Aswad, orang-orang Qaramithah terpaksa mengangkut Hajar Aswad di atas beberapa onta. Punuk-punuk onta sampai terluka dan mengeluarkan nanah. Tetapi, saat dikembalikan hanya membutuhkan satu tunggangan saja, tanpa terjadi hal-hal aneh dalam perjalanan.