Sejarah Semarang berawal kurang lebih pada abad ke-8 M, yaitu daerah pesisir yang bernama Pragota (sekarang menjadi Bergota) dan merupakan bagian dari kerajaan Mataram Kuno. Daerah tersebut pada masa itu merupakan pelabuhan dan di depannya terdapat gugusan pulau-pulau kecil. Akibat pengendapan, yang hingga sekarang masih terus berlangsung, gugusan tersebut sekarang menyatu membentuk daratan. Bagian kota Semarang Bawah yang dikenal sekarang ini dengan demikian dahulu merupakan laut. Pelabuhan tersebut diperkirakan berada di daerah Pasar Bulu sekarang dan memanjang masuk ke Pelabuhan Simongan, tempat armada Laksamana Cheng Ho bersandar pada tahun 1405 M. Di tempat pendaratannya, Laksamana Cheng Ho mendirikan kelenteng dan mesjid yang sampai sekarang masih dikunjungi dan disebut Kelenteng Sam Po Kong (Gedung Batu).

Pada akhir abad ke-15 M ada seseorang ditempatkan oleh Kerajaan Demak, dikenal sebagai Pangeran Made Pandan, untuk menyebarkan agama Islam dari perbukitan Pragota. Dari waktu ke waktu daerah itu semakin subur, dari sela-sela kesuburan itu muncullah pohon asam yang arang (bahasa Jawa: Asem Arang), sehingga memberikan gelar atau nama daerah itu menjadi Semarang.

Sebagai pendiri desa, kemudian menjadi kepala daerah setempat, dengan gelar Kyai Ageng Pandan Arang I. Sepeninggalnya, pimpinan daerah dipegang oleh putranya yang bergelar Pandan Arang II (kelak disebut sebagai Sunan Bayat). Di bawah pimpinan Pandan Arang II, daerah Semarang semakin menunjukkan pertumbuhannya yang meningkat, sehingga menarik perhatian Sultan Hadiwijaya dari Pajang. Karena persyaratan peningkatan daerah dapat dipenuhi, maka diputuskan untuk menjadikan Semarang setingkat dengan Kabupaten. Pada tanggal 2 Mei 1547 bertepatan dengan peringatan maulid Nabi Muhammad SAW, tanggal 12 rabiul awal tahun 954 H disahkan oleh Sultan Hadiwijayasetelah berkonsultasi dengan Sunan Kalijaga. Tanggal 2 Mei kemudian ditetapkan sebagai hari jadi kota Semarang.

Kemudian pada tahun 1678 Amangkurat II dari Mataram, berjanji kepada VOC untuk memberikan Semarang sebagai pembayaran hutangnya, dia mengklaim daerah Priangan dan pajak dari pelabuhan pesisir sampai hutangnya lunas. Pada tahun 1705 Susuhunan Pakubuwono I menyerahkan Semarang kepada VOC sebagai bagian dari perjanjiannya karena telah dibantu untuk merebut Kartasura. Sejak saat itu Semarang resmi menjadi kota milik VOC dan kemudian Pemerintah Hindia Belanda.
Kantor KPM (Koninklijke Paketvaart Maatschappij) di Semarang (1918-1930)

Pada tahun 1906 dengan Stanblat Nomor 120 tahun 1906 dibentuklah Pemerintah Gemeente. Pemerintah kota besar ini dikepalai oleh seorang Burgemeester (Walikota). Sistem Pemerintahan ini dipegang oleh orang-orang Belanda berakhir pada tahun 1942 dengan datangya pemerintahan pendudukan Jepang.

Pada masa Jepang terbentuklah pemerintah daerah Semarang yang di kepalai Militer (Shico) dari Jepang. Didampingi oleh dua orang wakil (Fuku Shico) yang masing-masing dari Jepang dan seorang bangsa Indonesia. Tidak lama sesudah kemerdekaan, yaitu tanggal 15 sampai 20 Oktober 1945 terjadilah peristiwa kepahlawanan pemuda-pemuda Semarang yang bertempur melawan balatentara Jepang yang bersikeras tidak bersedia menyerahkan diri kepada Pasukan Republik. Perjuangan ini dikenal dengan nama Pertempuran lima hari di Semarang.

Tahun 1946 lnggris atas nama Sekutu menyerahkan kota Semarang kepada pihak Belanda.Ini terjadi pada tangga l6 Mei 1946. Tanggal 3 Juni 1946 dengan tipu muslihatnya, pihak Belanda menangkap Mr. Imam Sudjahri, walikota Semarang sebelum proklamasi kemerdekaan. Selama masa pendudukan Belanda tidak ada pemerintahan daerah kota Semarang. Narnun para pejuang di bidang pemerintahan tetap menjalankan pemerintahan di daerah pedalaman atau daerah pengungsian diluar kota sampai dengan bulan Desember 1948. daerah pengungsian berpindah-pindah mulai dari kota Purwodadi, Gubug, Kedungjati, Salatiga, dan akhirnya di Yogyakarta. Pimpinan pemerintahan berturut-turut dipegang oleh R Patah, R.Prawotosudibyo dan Mr Ichsan. Pemerintahan pendudukan Belanda yang dikenal dengan Recomba berusaha membentuk kembali pemerintahan Gemeente seperti dimasa kolonial dulu di bawah pimpinan R Slamet Tirtosubroto. Hal itu tidak berhasil, karena dalam masa pemulihan kedaulatan harus menyerahkan kepada Komandan KMKB Semarang pada bulan Februari 1950. tanggal I April 1950 Mayor Suhardi, Komandan KMKB. menyerahkan kepemimpinan pemerintah daerah Semarang kepada Mr Koesoedibyono, seorang pegawai tinggi Kementrian Dalam Negeri di Yogyakarta. Ia menyusun kembali aparat pemerintahan guna memperlancar jalannya pemerintahan.