Perserikatan Sepakbola Sleman (PSS) lahir pada Kamis Kliwon tanggal 20 Mei 1976 semasa periode kepemimpinan Bupati Drs. KRT. Suyoto Projosuyoto. Lima tokoh yang membidani kelahiran PSS adalah: Suryo Saryono, Sugiarto SY, Subardi, Sudarsono KH, dan Hartadi. Lahirnya PSS dilatarbelakangi bahwa pada waktu itu di Daerah Istimewa Yogyakarta (DIY) baru ada 2 perserikatan yaitu PSIM Yogyakarta dan Persiba Bantul. Meskipun klub-klup sepakbola di kabupaten Sleman telah ada dan tumbuh, tetapi belum terorganisir dengan baik karena di Kabupaten Sleman belum ada perserikatan. Hal ini berdampak terhadap kelancaran klub-klub sepak bola di Kabupaten Sleman dalam mengadakan kompetisi sehingga banyak pemain Sleman yang bergabung ke klub-klub sepak bola di Kota Yogyakarta dan Kabupaten Bantul.

Keinginan masyarakat yang kuat di Kabupaten Sleman untuk memilki perserikatan klub sepak bola akhirnya mulai terwujud dengan adanya informasi yang disampaikan oleh Komda PSSI DIY pada waktu itu (Prof. Dr. Sardjono) yang menyatakan bahwa syarat untuk membentuk perserikatan sepak bola minimal harus ada 5 (lima) klub. Di Kabupaten Sleman pada waktu itu sudah ada 5 (lima) klub yaitu PS Mlati, AMS Seyegan, PSK Kalasan, Godean Putra dan PSKS Sleman. Akhirnya, tepat pada tanggal 20 Mei 1976, PSS dibentuk dengan Ketua Umum Gafar Anwar (Seorang Polisi). Setelah Gafar Anwar meninggal, posisi Ketua Umum PSS digantikan Oleh Drs. Suyadi sampai dengan 1983. Periode 1983-1985, PSS dipimpin oleh Drs. R. Subardi Pd (Drs. KRT. Sosro Hadiningrat). Periode 1986-1989, PSS dipimpin oleh Letkol Infanteri Suhartono. Karena ada perubahan masa bakti/periodisasi dalam memimpin klub perserikatan yang dilakukan oleh PSSI menjadi 4 tahunan maka ditengah perjalanan periode Letkol Infanteri Suhartono tepatnya tahun 1987, Letkol Infanteri Suhartono masih dipilih lagi sebagai Ketua Umum PSS untuk masa jabatan 1987-1991. Kemudian pada periode 1991-1995, PSS dipimpin oleh H. RM. Tirun Marwito, SH.

Mulai periode 1996-2000, PSS dipimpin langsung iloh Bupati, pada waktu itu Drs. H Arifin Ilyas. Selanjutnya tahun 2000-2004, PSS dipimpin oleh Bupati Drs. Ibnu Subiyanto, Akt. Jabatan Drs. Ibnu Subiyanto, Akt dalam memimpin PSS yang berarkhir pada tahun 2004 diperpanjang mulai 2005, banyak nama yang membesarkan PSS, diantaranya: Sudarsono KH, Sukidi Cakrasuwignyo, Suparlan, Arifin Ilyas, Ibnu Subiyanto.

Tiga tahun setelah PSS dibentuk, PSS mulai mengikuti kompetisi Divisi II PSSI pada tahun 1979. Daerah Istimewa Yogyakarta (DIY) yang pada waktu itu memiliki 5 (lima) perserikatan langsung masuk divisi IIA bersama dengan perserikatan-perserikatan di Propinsi Jawa Tengah (menjadi satu rayon) sehingga perserikatan manapun yang lolos di DIY harus bergabung dulu dengan Propinsi Jawa Tengah. Pada waktu itu, PSS selalu mengikuti kompetisi Divisi II PSSI tahun 1979-1996 sampai kemudian PSS promosi ke kompetisi Divisi I PSSI pada kompetisi 1995/1996 dengan pelatih Suwarno. Selama berada di Divisi II PSS tidak pernah mendapatkan sumber pendanaan dari Pemerintah Kabupaten Sleman. Sumber pendanaan PSS pada waktu itu berasal dari kontribusi pribadi masyarakat Sleman yang gila bola. PSS promosi ke Divisi I PSSI setelah lolos melalui prtandingan play off di Stadion Tridadi pada tanggal 4-9 Juli 1996. Kemudian PSS mengikuti kompetisi Divisi I PSSI selama 4 tahun mulai musim kompetisi 1996/1997 sampai musim kompetisi 1999/2000.

PSS memulai perjuangan dalam kompetisi Divis II PSSI pada rahun 1979 dengan lawan tim-tim sepak bola yaitu Persiba Bantul, Persig Gunung Kidul, dan Persikup Kulon Progo untuk tim yang berasal dari Daerah Istimewa Yogyakarta (DIY). Dalam babak penyisihan tersebut PSS menjadi juara. Setelah lolos babak penyisihan PSS bersama tim-tim perserikatan sepak bola dari Propinsi Jawa Tengah yang lolos babak penyisihan seperti PSIR Rembang, Persijap Jepara, dan Persibat Batang melakukan kompetisi dengan hasil PSS selalu gagal maju ke babak ketiga atau babak tingkat nasional.

Tahun 1996, PSS meraih juara kompetisi Divisi II PSSI untuk wilayah Daerah Istimewa Yogyakarta. Setelah bertanding dengan tim-tim dari yang lolos penyisihan dari Propinsi Jawa Tengah, PSS berhasil lolos bakak ketiga dan berhasil promosi ke Divisi I pada kompetisi tahun 1996/1997 setelah lolos pada pertandingan play off melawan Persiss Sorong, Aceh Putera dan Persipal Palu.

Tahun 2000 adalah tahun berakhirnya masa jabatan Bupati Drs. H. Arifin Ilyas dan sebagai bupati ingin meninggalkan kesan yang terbaik, sehingga termotivasi kuat untuk mengantarkan PSS masuk Divisi Utama PSSI. Akhirnya, pada kompetisi tahun 1999/2000, dalam situasi krisi moneter PSS berhasil promosi ke Divisi Utama PSSI setelah PSS bersama-sama dengan Persita, Persikabo dan Persijap melakukan pertandingan 4 besar di Stadion Tangerang dan PSS menjadi Juara II Kompetisi Divisi I PSSI. Pertandingan 4 besar tersebut berlangsung 26-30 Mei 2000. Dan sebagai Manager PSS adalah H. Sukidi Cakrasuwignyo dengan pelatih Drs. Bambang Nurjoko dan Drs. Herwin Sjahrudin.