28 Mart 2017 Salı

Anketlerin hata payına dikkat!

Anayasa referandumu yaklaşırken anketler de giderek daha sık yayınlanıyor. Bunları doğru yorumlamak için, birkaç temel istatistiki meseleyi gözden kaçırmamak lazım. Kısaca değinelim.

Anket sonuçlarıyla birlikte genellikle bir hata payı rapor edilir. Bu oran örnekleme hatası (sampling error) sebebiyle, sonucun gerçekleşmeden ne kadar sapabileceğinin göstergesidir. Toplumdan 1000 seçmeni rastgele seçsek, bu kitlenin oy verme eğilimi genelden çok farklı olmaz. Yani mesela referendum için evet-hayır verecekler yüzde 50-50 ise, anket sonucu %70-30 çıkmaz. Ama tam tamına 50-50 de olmaz, illa ki bir miktar sapar. Normalde nereye kadar sapar? Mesele bu. Kabul edilebilir bir ihtimal dahilinde (genelde yüzde 95 "güven aralığı" alınır), sapmanın ne olabileceği katılımcı sayısına bağlı bir formülle hesaplanır. 1000 kişi varsa hata payı yaklaşık yüzde 3’tür. Elbette daha büyük sapma da olabilir ama ihtimali çok düşüktür. (Detaylı bilgi ve formüller için bkz. Wikipedia.)

Anketleri karşılaştırırken örnekleme hatasına dikkat etmeliyiz. Bir çalışma 1000 kişiyle yapılmışsa ve evet-hayır oranlarını yüzde 51-49 vermişse, bunlar orta noktalardır. Aslında yüzde 95 gibi büyük bir olasılıkla evet sonucunun yüzde 48-54, hayır sonucunun yüzde 46-52 aralığında çıkacağını tahmin etmektedir. Şimdi bir de 10 bin katılımcıyla yapılan ve dolayısıyla örnekleme hata payı yaklaşık yüzde 1 olan başka bir anketin yüzde 51 hayır gösterdiğini düşünelim. Bunun anlamı hayır oylarının yüzde 50-52 aralığında yer alacağıdır. Görüldüğü gibi, birincideki aralık ikinciyi tamamen kapsıyor. Dolayısıyla orta noktaları farklı olsa da, hata payı dikkate alındığında, birincinin sonucunun ikinciyle çeliştiği söylenemez. Elbette ikinci daha dar bir aralık verdiği için daha makbuldür. Bunları görmek için anketlerin hata paylarına bakmak gerekir.

Daha önemlisi sapmalar sadece örnekleme hatasından kaynaklanmaz. Çok daha ciddi sorunlar olabilir. Yukarıda belirttiğim gibi örneklemdeki katılımcılarının rastgele seçilmesi kritik, lakin bunu sağlamak zor. Anketörler evlere telefon ediyorlar mesela. Eğer arananların bir kısmı katılmayı reddediyorlarsa, sonuçlar sadece katılanların eğilimini yansıtır. Belli bir yönde oy kullanacaklar, katılmaya diğerinden daha isteksizse sonuç da yanlı olacaktır. Bunun dışında, çalışmalar hep belli bölgelerde ve şehirlerde yapılıyorsa, örneklem rastgele olsa bile sonuç o yerlerin seçmen eğilimini doğru yansıtacaktır, ülkenin tamamınınkini değil. Referanduma dair çıkan haberler doğu illerinde rahat çalışma yapılamadığını bildiriyor. Bu durum sonuçlar üzerinde ek belirsizlik yaratır.

Denebilir ki, gerçek hata payı raporlanan örnekleme hata payından çok daha fazladır. Bunu gözden kaçırmanın neticesini, yakın zamanda İngiltere'nin AB referadumunda ve ABD seçimlerinde gördük. Sonuçlar tahminleri ters köşeye yatırdı. Peki gerçek hata payı ne kadardır? ABD seçimleri öncesinde NY Times'ta haber olan akademik bir çalışma bu konuda bize fikir verebilir. Buna göre ABD'deki geçmiş seçimlerle anket sonuçlarını analiz eden araştırmacılar, genelde 3 puan olarak rapor edilen hata paylarının aslında bunun iki katından fazla, 7 puan civarında olduğunu söylemişler. (Haber şurada.)

Tüm bunlardan referandum için ne sonuç çıkartabiliriz? Hata payının büyüklüğü dikkate alındığında, bir tarafın kazanacağından emin olmak için anketlerde aranın bir hayli açılması lazım. Aksine evet-hayır yüzdeleri 50'lere yakın görünüyorsa durum tam manasıyla yazı-turadır.