Pages

dinsdag 11 februari 2014

Met Xbox-gebruikers de verkiezingsuitslag voorspellen?

Nu er weer verkiezingen aankomen, zal de discussie over de betrouwbaarheid en validiteit van opiniepeilingen weer oplaaien. Politicologen bekritiseren daarbij vaak peilingen die niet zijn gebaseerd op een willekeurige steekproef, zoals die van Maurice de Hond. Om mee te doen aan zijn peiling, kun je jezelf gewoon aanmelden. Uit zijn panel van tienduizenden deelnemers trekt hij elke week een steekproef. Omdat sommigen (hoger opgeleiden, politiek geïnteresseerden) meer geneigd zijn om zich aan te melden, geven dat soort peilingen volgens politicologen een vertekend beeld. Of toch niet?
Om te corrigeren voor afwijkingen in de steekproeftrekking gebruiken de meeste peilers een vorm van weging, zodat de peiling na het wegen representatief is voor bijvoorbeeld leeftijd, geslacht, regio, opleidingsniveau en stemgedrag bij vorige verkiezingen. Van die kenmerken weten we immers hoe de bevolking verdeeld is. Als er dus maar 45% vrouwen in een steekproef zitten, kun je die in je statistische berekeningen iets zwaarder laten meewegen, zodat de resultaten wat betreft man-vrouwverdeling overeenkomen met de gehele bevolking.

In de laatste tien jaar is een meer geavanceerde vorm van deze procedure ontwikkeld met de technische naam ‘multilevel regression and post-stratification’ (MRP, ook wel ‘Mister P.’). Naast weging maakt deze techniek gebruikt van een statistische analyse om de voorkeuren kiezersgroepen waar maar weinig informatie over is in de peilingen (bijvoorbeeld oudere, laagopgeleide allochtone vrouwen) beter in te kunnen schatten. In een recent paper gebruiken Wang, Rothschild, Goel en Gelman deze techniek om electorale voorspellingen te doen aan de hand van een niet-representatieve peiling.

Ze gebruiken een peiling onder Xbox-gebruikers, die werd gehouden gedurende 45 dagen voor de verkiezingen van 2012. Iedereen kan raden dat Xbox-gebruikers niet echt representatief zijn voor de hele bevolking: met name het aantal oudere vrouwen dat regelmatig achter de spelcomputer kruipt, is bijzonder laag. Als je de niet-gecorrigeerde cijfers van de peiling gebruikt, wordt een grote overwinning van Romney voorspelt. Daar klopt natuurlijk weinig van.

Indien echter gebruik wordt gemaakt van MRP, sluiten de resultaten van de Xbox-peilingen en die van traditionele peilingen redelijk goed op elkaar aan. Het verschil tussen de verkiezingsuitslag (52% voor Obama) en een gemiddelde van traditionele peilingen (iets minder dan 51%) is groter dan het verschil tussen de uitslag en de Xbox-verwachting (52.6%).

Zou dat ook in Nederland werken? De verschillen tussen de peilingen van De Hond (die met zelf-aanmelding werkt) en andere bureaus (zonder zelfaanmelding) suggereren dat beide methodes erin slagen om dezelfde trends vast te leggen, maar dat er wel structurele verschillen zijn tussen peilingen van verschillende bureaus. Zo schat De Politieke Barometer de steun voor de PvdA structureel enkele procenten hoger in dan Peil.nl van De Hond.




Electorale steun (%) voor de PvdA in de Peilingwijzer en individuele peilingen (sinds verkiezingen 2012)



Wellicht kunnen deze verschillen worden verkleind indien meer geavanceerde methoden voor weging worden gebruikt, zoals MRP. Daarbij is het wel belangrijk dat we relevante informatie hebben over karakteristieken van de gehele bevolking (zie ook hier, paywall). Die informatie moet iets zeggen over de kans dat iemand meedoet aan een peiling en zijn of haar stemgedrag. Als bijvoorbeeld geslacht niet zoveel uitmaakt voor je stemgedrag, helpt het niet veel om daarvoor te wegen. Maar als politieke interesse een belangrijke factor is waarvoor we niet kunnen corrigeren, blijven we met vertekende resultaten zitten.

Hoe dan ook: het blijft van belang om rekening te houden met de huiseffecten en foutmarges van peilingen.

Dit stuk verscheen eerder op Stuk Rood Vlees.

Geen opmerkingen:

Een reactie plaatsen