SAIFUL Muzani Research Center (SMRC) telah mengeluarkan hasil surveinya tentang "Kinerja Petahana dan Peluang Para Penantang Dalam Pilkada DKI", temuan survei 1-9 Oktober 2016. Hasil survey tersebut antara lain,

pertama, lektabilitas Ahok-Djarot 45,4 persen, Agus-Sylvi 22,4 persen, Anis-Sandi 20,7 persen dan belum tahu 11,6 persen.

Kedua, kondisi ekonomi Provinsi DKI Jakarta dan rumah tangga lebih baik dibanding tahun lalu.

Ketiga, pelaksanaan pemerintahan baik 55 persen.

Keempat, sebanyak 9 persen responden sangat puas dan 66 persen cukup puas terhadap kinerja Ahok.

Kelima , citra Ahok lebih tinggi dari kandidat lainnya perihal kejujuran, ketegasan, mampu memimpin Jakarta, berwawasan luas dan perhatian terhadap rakyat.

Keenam, alasan responden memilih adalah pertama, adalah sudah ada bukti nyata hasil kerjanya, orangnya tegas dan berwibawa, berpengalaman di pemerintahan, orangnya pintar, orangnya bersih, berasal dari keluarga tokoh politik, orangnya perhatian pada rakyat, seagama (muslim), orangnya ganteng/cantik, dan beberapa lagi yang dapat diabaikan.

Research ini diawali dengan hipotesa: (1) Jika ekonomi lebih baik maka pemilih cenderung memilih Petahana. (2) jika pelaksanaan pemerintahan baik dan kinerja Petahana memuaskan maka pemilih cenderung memilih Petahana.
Lalu riset ini diakhiri dengan kesimpulan, antara lain, argumen prilaku pemilih rasional terlihat dalam kecenderungan pemilih Jakarta. Incumbent sangat dipengaruhi oleh penilaian warga atas kinerjanya. Karena kinerja incumbent secara umum dinilai positif maka pasangan incumbent untuk sementara ini unggul atas pasangannya (selisih 23 persen).

Kegagalan Konseptual dan Kegagalan Metodologi

Hasil reset SMRC ini semula dikecam Denny JA, LSI, karena jumlah respondennya melebihi 100 persen dalam merespon kuesioner, seperti dalam kuesioner elektabilitas, kondisi perekonomian DKI Jakarta, kinerja Wakil Gubernur, pilihan kepada tiga pasangan calon dan bahkan 99 persen pada kondisi perekonomian rumah tangga. Kritik Denny ini bisa termaafkan jika asumsi baik diberikan kepada SMRC bahwa kesalahan angka-angka tersebut hanyalah bersifat teknis semata, karena mungkin tabulasi data dilakukan secara manual bukan computerized.

Meskipun secara logik, di jaman sekarang ini mahasiswa tingkat satu pun seharusnya sudah menggunakan program excel atau spss yang memungkinkan perhitungan sangat teliti yang dilakukan program komputer secara cepat dan tepat.
Ketertarikan saya adalah soal konsep dan metodologi. Biarkanlah urusan ketidaktelitian kita serahkan kepada pembaca survei.

Secara konseptual, SMRC gagal dalam,

pertama, menjelaskan konstruk secara jelas tentang "Voting Behavior."

Kedua, gagal menjelaskan jumlah variabel-variabel independen.

Ketiga, gagal menjelaskan hubungan antara variabel-variabel penelitian.
Dalam konsep voting behaviour, SMRC berusaha memasukkan rational choice sebagai satu-satunya alasan responden memilih. Dan itu bersifat instrumental semata, bukan psikologis. Di sini terjadi kebingungan antara konsep rational choice yang biasa digunakan dalam ilmu mikro ekonomi versus ilmu politik.

Padahal, dalam ilmu politik, pertimbangan memilih seseorang terkait dengan orientasi dalam isu spesifik pada kebijakan publik; evaluasi atas kinerja Petahana/incumbent dan evaluasi atas karakteristik kandidat. Dengan catatan orientasi dan evaluasi ini dipengaruhi oleh faktor identifikasi atas partai pendukung dan orientasi ideologi secara umum. www.icpsr.umich.edu/icpsrweb/instructors/setups/voting.jsp

Suatu penelitian lain "Does The Media Matter"?, dari Yale University, Departemen Ekonomi, tentang mengukur efek media pada voting behaviour, pada tahun 2006, juga melihat political attitude dan knowledge of news and events saling berkaitan dengan voting behaviour tersebut. Jadi konstruk voting behavior yang diketengahkan SMRC masih perlu dipertanyakan landasan teoritiknya.

Keanehan SMRC berlanjut ketika tidak konsisten terhadap konstruk dan variabel penelitian. Ada dua hal penting terkait hal ini.

Pertama, apakah mungkin menanyakan langsung pada responden tentang keberhasilan ekonomi dan kinerja petahana/incumbent, tanpa ada intervening variabel atau moderating variabel berupa knowledge of news and events. Secara teoritis menilai suatu keberhasilan ekonomi skala DKI dan keberhasilan kinerja tentu membutuhkan pengetahuan yang mumpuni dari responden.

Kedua, mengapa tiba-tiba SMRC memunculkan variabel lain dalam seperti citra dan sikap kepemimpinan, tingkat popularitas dan kualitas personal kandidat?
Bukankah sejak awal SMRC dan pada kesimpulannya ingin membuktikan bahwa variabel yang ingin dibuktikan hanyalah yang instrumental dan rasional?

Disinilah akhirnya kegagalan konseptual riset SMRC. Membingungkan. Sulit mencari variabel yang hendak diukur dan menentukan hipotesa yang ingin dibuktikan.

Kegagalan metodologi
Wilayah metodologi dalam riset adalah mengoperasionalkan konsep kedalam variabel, dimensi dan menjadi indikator yang hendak diikur; melakukan pekerjaan "sampling", melakukan survei dan menganalisa data. SMRC melakukan dan atau menemukan, misalnya, relasi antara Agama dan Etnik tertentu dalam memilih. Dalam temuan ini Orang Kristen/Katolik serta orang Cina dan Batak, tidak ada yang memilih pasangan Agus Sylvi. Indikator agama dan etnik ini bisa saja tidak berurusan dengan metodologi jika itu bukan mewakili indikator yang diturunkan dari variabel. Melainkan terkait data demografis pemilih semata.
Tetapi ini menjadi urusan metodologi ketika SMRC memasukkan karakteristik Agama dan Etnik dalam sampling frame di awal penentuan sample.
Kegagalan metodologi juga terjadi ketika SMRC menentukan pendekatan kuantitatif denga multistage random sampling tapi saat bersamaan membuat sampling frame dengan atratified probability testing, yakni proporsi sample sesuai dengan proporsi populasi dengan karakteristik seperti agama dan etnik tersebut. Tentu ini sesuatu pekerjaan yang ambisius di luar jangkauan lembaga survei manapun. Kecuali, SMRC meninggalkan random sampling dan beralih ke metoda purposive.

Kembali kepada indikator, misalnya, SMRC gagal mengelompokkan indikator citra dan indikator alasan memilih dalam variabel yang mana?
Jika indikator citra sebagai kualitas personal masuk pada variabel independen, berarti beberapa hal yang non instrumental telah masuk dalam penelitian. Sedangkan alasan memilih, mungkin masuknya dalam wilayah dependent variabel. Jika ini benar, maka alasan instrumental hanya memuat 2 pertanyaan dari 19 pertanyaan, yakni sudah ada bukti nyata hasil kerja dan berpengalaman dipemerintahan. Hal ini agak aneh. Itupun hasil temuan pertanyaan instrumental hanya 38,3 persen. (Artinya alasan rasional responden dibawah 50 persen saja.)
Kesimpulan:
Pertama, riset SMRC tidak memenuhi kaidah kaidah saintifik sehingga hasilnya tidak dapat dipertanggungjawbakan secara ilmiah.
Kedua, SMRC perlu mendalami lagi konsepsi dan metodologi survei kuantitatif bagi riset sosial.
sumbler