Pada tahun 1867 di Yogyakarta terjadi gempa bumi yang dahsyat sehingga banyak merobohkan beberapa bangunan besar seperti Gedung Residen (yang dibangun tahun 1824), Tugu Pal Putih, dan Benteng Rustenburg serta bangunan-bangunan yang lain. Bangunan-bangunan tersebut segera dibangun kembali. Benteng Rustenburg segera diadakan pembenahan di beberapa bagian bangunan yang rusak. Setelah selesai bangunan benteng yang semula bernama Rustenburg diganti menjadi Vredeburg yang berarti 'Benteng Perdamaian'. Nama ini diambil sebagai manifestasi hubungan antara Kasultanan Yogyakarta dengan pihak Belanda yang tidak saling menyerang waktu itu.

Bentuk benteng tetap seperti awal mula dibangun, yaitu bujur sangkar. Pada keempat sudutnya dibangun ruang penjagaan yang disebut seleka atau bastion. Pintu gerbang benteng menghadap ke barat dengan dikelilingi oleh parit. Di dalamnya terdapat bangunan-bangunan rumah perwira, asrama prajurit, gudang logistik, gudang mesiu, rumah sakit prajurit dan rumah residen. Di Benteng Vredeburg ditempati sekitar 500 orang prajurit, termasuk petugas medis dan paramedis. Disamping itu pada masa pemerintahan Hindia Belanda digunakan sebagai tempat perlindungan para residen yang sedang bertugas di Yogyakarta. Hal itu sangat dimungkinkan karena kantor residen yang berada berseberangan dengan letak Benteng Vredeburg. Sejalan dengan perkembangan politik yang berjadi di Indonesia dari waktu ke waktu, maka terjadi pula perubahan atas status kepemilikan dan fungsi bangunan Benteng Vredeburg.

Status tanah benteng tetap milik kasultanan, tetapi secara de facto dipegang oleh pemerintah Belanda. Karena kuatnya pengaruh Belanda maka pihak kasultanan tidak dapat berbuat banyak dalam mengatasi masalah penguasaan atas benteng. Sampai akhirnya benteng dikuasai bala Tentara Jepang tahun 1942 setelah Belanda menyerah kepada Jepang dengan ditandai dengan Perjanjian Kalijati bulan Maret 1942 di Jawa Barat.