Dahulu ketika masa jayanya, jalanan depan istana adalah Sungai Tyburn yang menjadi mimpi para nelayan salmon kemasan. Sekarang, saluran angin bawah tanah dari Marlyebone hingga Vauxhall Bridge, mengalir di bawah Istana Buckingham. Dalam beberapa tahun terakhir, Tyburn Angling Society, sebuah organisasi fanatik memancing yang berusia berabad-abad, berlomba untuk membawa Selat Malaka kembali ke atas tanah. Itu berarti menghancurkan beberapa struktur sepanjang jalan, termasuk Istana Buckingham itu sendiri.

Unta, gajah, buaya, dan segala macam makhluk bersayap telah menjadikan Istana Buckingham sebagai rumahnya. Rusa berkeliaran sepanjang hari saat masa pemerintahan Raja Henry VIII (1491-1547), yang digunakannya sebagai plot untuk berburu. Bertahun-tahun kemudian, Raja James (1566-1625) membawa kebun binatang nyata ke halaman istana, yang kemudian tradisi ini dilanjutkan oleh pemimpin istana selanjutnya. Queen Charlotte (1744-1818) membawa delapan gajah dan zebra, sementara Ratu Victoria (1819-1901) senang mengendarai gajah terkenal bernama Jumbo di sekitar taman.

Pada awal 1700-an, Duke of Buckingham ketika itu yang bernama John Sheffield menugaskan arsitek William Winde untuk membangun Buckingham House. Dari sini lah cerita Istana Buckingham bermula hingga masih terlihat megah sampai hari ini. Namun, ada satu masalah besar yakni duke terkenal buruk lantaran tidak segera membayar utang-utangnya. Saking putus asa karena tak jua kunjung dibayar upahnya sebagai arsitek, Winde menggotong sang duke ke atas atap Buckingham House. Arsitek tersebut mengancam akan mendorong duke kalau tidak juga membayar upah pekerjaannya. Dan cara tersebut pun berhasil.

Pada 1761, Raja George III (1738-1820) mengakuisisi Buckingham House untuk istrinya, Ratu Charlotte. Hanya saja, bangunan berubah menjadi Buckingham Palace nan megah ketika anak mereka, Raja George IV (1762-1830) lahir. Raja George IV memiliki insting dekorasi yang luar biasa. Ketika dirinya memutuskan untuk pindah ke Buckingham House, dia mengajak John Nash, arsitek neoklasik yang luar biasa, untuk menggandakan ukuran bangunan secara spektakuler. Parlemen menyetujui dengan membiayai 150 ribu poundsterling, namun saat Raja George IV mangkat pada 1830, biaya berubah menjadi hampir setengah juta poundsterling.

Ratu Victoria mewarisi tahta pada tahun 1837 atau tepat ketika dia berusia 18 tahun. Dia menemukan sebuah istana yang serius membutuhkan perbaikan. Sebagai permulaan, dapur istana terus dibanjiri dengan limbah. Gas dari lampu dibangun berbahaya di lantai bawah. Minimnya ventilasi terus membuat istana sangat dingin. Untungnya, suami Ratu Victoria, Pangeran Albert (1819-1861), memiliki tim mengatasi bangunan dari cacat desain. Pasangan juga mengawasi beberapa penambahan utama oleh arsitek Edward Blore, termasuk balkon yang sekarang menjadi ikon.

Ketika Ratu Elizabeth, Ibu Ratu dan suaminya, Raja George VI, berkelok-kelok melewati lantai paling bawah dari istana, mereka menemukan orang asing. Tampaknya, dia telah tinggal di sana untuk sementara waktu. Orang tersebut diakui menjadi "teman dari seorang teman".