Madiun merupakan suatu wilayah yang dirintis oleh Ki Panembahan Ronggo Jumeno atau biasa disebut Ki Ageng Ronggo. Asal kata Madiun dapat diartikan dari kata "medi" (hantu)dan "ayun-ayun" (berayunan), maksudnya adalah bahwa ketika Ronggo Jumeno melakukan "Babat tanah Madiun" terjadi banyak hantu yang berkeliaran. Penjelasan kedua karena nama keris yang dimiliki oleh Ronggo Jumeno bernama keris Tundhung Medhiun. Pada mulanya bukan dinamakan Madiun, tetapi Wonoasri.
Sebelum berubah menjadi Madiun, nama yang dipakai ada beberapa versi:
Pada sejarah Kabupaten Madiun disebutkan 2 nama yaitu yaitu (desa/kabupaten) Wonorejo dan Purbaya. Sementara di Wikipedia muncul 2 nama yaitu Wonosari dan Purabaya
Nama Madiun
baru digunakan sejak tanggal 16 Nopember 1590 Masehi (untuk menggantikan nama {Purbaya / Purabaya).
Asal mula pemerintahan Kabupaten Madiun awalnya bermula dari Nguwaran Dolopo dan kemudian pusat pemerintahan dipindahkan ke desa Sogaten. Pada tahun 1575 berpindah lagi ke Desa Wonorejo atau Kuncen, Kota Madiun sampai tahun 1590
Pusat pemerintahan Kota Madiun semula adalah "Kuto Miring" terletak di Desa Demangan Kecamatan Taman Kota Madiun, kemudian digeser ke utara lagi yaitu ditengah Kota Madiun (sekarang di Komplek Perumahan Dinas Bupati Madiun).
Beberapa peninggalan keadipatian Madiun salah satunya dapat dilihat di Kelurahan Kuncen, dimana terdapat makam Ki Ageng Panembahan Ronggo Jumeno, Patih Wonosari selain makam para Bupati Madiun, Masjid Tertua di Madiun yaitu Masjid Nur Hidayatullah dll.
Di Kelurahan Taman juga dimakamkan pahlawan-pahlawan pada zaman lampau, termasuk Kyai Ronggo (tapi tak jelas disebutkan yang mana, karena Ronggo ada Ronggo I s/d III) Ali Basah Sbaik Prawirodirdjo adalah putra dari Ronggo II.
Pada tanggal 1 Januari 1832 Madiun secara resmi dikuasai oleh Pemerintah Hindia belanda dan dibentuk suatu Tata Pemerintahan yang berstatus "Karisidenan".
Ibu Kota Karisidenan berlokasi di Desa Kartoharjo (tempat Patih Kartohardjo) yang berdekatan dengan Istana Kabupaten Madiun di Pangongangan.
Pada tahun 1906 Kerajaan Belanda mengeluarkan Undang-undang yang bertujuan untuk memisahkan wilayah perkotaan Madiun dari Pemerintah Kabupaten Madiun.
Sejak awal Madiun merupakan sebuah wilayah di bawah kekuasaan Kesultanan Mataram. Dalam perjalanan sejarah Mataram, Madiun memang sangat strategis mengingat wilayahnya terletak di tengah-tengah perbatasan dengan Kerajaan Kadiri (Daha). Oleh karena itu pada masa pemerintahan Mataram banyak pemberontak-pemberontak kerajaan Mataram yang membangun basis kekuatan di Madiun. Seperti munculnya tokoh Retno Dumilah.

Beberapa peninggalan Kadipaten Madiun salah satunya dapat dilihat di Kelurahan Kuncen, dimana terdapat makam Ki Ageng Panembahan Ronggo Jumeno, Patih Wonosari selain makam para Bupati Madiun, Masjid Tertua di Madiun yaitu Masjid Nur Hidayatullah, artefak-artefak disekeliling masjid, serta sendang (tempat pemandian) keramat.

Sejak masa Hindia-Belanda, Madiun adalah suatu gemeente yang berpemerintahan sendiri (swapraja) karena komunitas Belanda yang bekerja di berbagai perkebunan dan industri tidak ingin diperintah oleh Bupati (yang adalah orang Jawa). Sebagai suatu kota swapraja, Madiun didirikan 20 Juni 1918, dengan dipimpin pertama kali oleh asisten residen Madiun.

Baru sejak 1927 dipimpin oleh seorang walikota. Berikut adalah walikota Madiun sejak 1927:

1. Mr. K. A. Schotman
2. J.H. Boerstra
3. Mr. L. van Dijk
4. Mr. Ali Sastro Amidjojo
5. Dr. Mr. R. M. Soebroto
6. Mr. R. Soesanto Tirtoprodjo
7. Soedibjo
8. R. Poerbo Sisworo
9. Soepardi
10. R. Mochamad
11. R. M. Soediono
12. R. Singgih
13. R. Moentoro
14. R. Moestadjab
15. R. Roeslan Wongsokoesoemo
16. R. Soepardi
17. Soemadi
18. Joebagjo
19. R. Roekito, B.A.
20. Drs. Imam Soenardji
21. Achmad Dawaki, B.A.
22. Drs. Marsoedi
23. Drs. Masdra M. Jasin
24. Drs. Bambang Pamoedjo
25. Drs. H. Achmad Ali
26. H.Kokok Raya, S.H., M.Hum
27. Drs. H. Bambang Irianto, SH.MM

Kota Madiun dahulu merupakan pusat dari Karesidenan Madiun, yang meliputi wilayah Magetan, Ngawi, Ponorogo, dan Pacitan. Meski berada di wilayah Jawa Timur, secara budaya Madiun lebih dekat ke budaya Jawa Tengahan (Mataraman atau Solo-Yogya), karena Madiun lama berada di bawah kekuasaan Kesultanan Mataram.

Pada tahun 1948, terjadi pemberontakan yang dilakukan oleh PKI di Madiun, yang dipimpin oleh Musso di dungus,Wungu,Kab Madiun yang sekarang di kenal dengan nama Monumen Kresek