Onzeker en overschat: waarom peilingen maar peilingen zijn

Nu er dagelijks peilingen verschijnen, worden alle verschillen tussen die peilingen onder het vergrootglas gelegd. Elke dag schrijven kranten en websites over de verschuivingen van één of enkele zetels. Politicologen wijzen er terecht op dit soort conclusies op op drijfzand zijn gebouwd. Peilingen hebben foutmarges, zo wordt terecht opgemerkt. Hoe groot zijn die foutmarges nu precies?

De peilers kunnen het u niet vertellen. In de onderzoeksverantwoording van Peil.nl noch Politieke Barometer staat niets over de onzekerheid van de gepeilde zetelaantallen. Terwijl die onzekerheid er weldegelijk is. Je ondervraagt immers hooguit een paar duizend mensen. Als je een paar duizend andere mensen vraagt, is de uitkomst waarschijnlijk net anders. Dit wordt ook wel de foutmarge of het betrouwbaarheidsinterval genoemd. Je kunt eenvoudig berekenen hoe groot die betrouwbaarheidsinterval is, ingeval je een willekeurige (aselecte) steekproef trekt.

In een peiling met 1000 respondenten (zoals bij de Politieke Barometer), is er een (95%) foutmarge van plus of min 3,7 zetels voor een partij die 30 zetels krijg in de peiling. Die partij kan dus in werkelijkheid een steun hebben van tussen de ruim 26 en bijna 34 zetels. Beter gezegd: je kunt er 95% zeker van zijn dat het werkelijke zetelaantal tussen de 26 en 34 zetels ligt. Met meer respondenten wordt de foutmarge kleiner, hoewel het verschil tussen 3000 en 4000 (Peil.nl) mensen niet meer zo groot is. Voor kleinere partijen is de foutmarge natuurlijk ook kleiner, maar toch nog rond de twee zetels voor een partij die 10 zetels peilt. Verschuivingen tussen peilingen die binnen deze foutmarges liggen, zeggen dus niets. Ze kunnen net zo goed toevallig zijn, als ze een gevolg van een 'echte' kiezersverschuiving. Het is dus zeer opvallend dat de SGP in sommige peilingen altijd twee zetels scoort, zoals Joop van Holsteyn opmerkte. Als de peilers een echte willekeurige steekproef zouden trekken, zou dat zeer onwaarschijnlijk zijn: het zouden er ook regelmatig 1 of 3 moeten zijn.

Wegen

Bovenstaande foutmarges gelden voor een willekeurig getrokken steekproef. Maar het is heel lastig om een willekeurige steekproef te trekken. Niet iedereen staat in het telefoonboek of heeft internet. En als je met een klembord in het winkelcentrum gaat staan, kom je zeker geen doorsnee van de bevolking tegen. In de veelgebruikte internetpanels zijn daardoor bijvoorbeeld ouderen oververtegenwoordigd. De peilingbureaus corrigeren hiervoor door middel van het 'wegen' van de resultaten. De ouderen die wél in de steekproef zitten, wegen dan bijvoorbeeld zwaarder mee in de zetelberekening, want het zijn er relatief weinig. Van kenmerken zoals leeftijd, geslacht en inkomen weet je ook precies hoe die voorkomen onder de gehele bevolking en je kunt op die manier goed wegen. Wél een probleem is het als bepaalde mensen maar heel weinig in de steekproef voorkomen: hun wegingsfactor wordt dan zo hoog, dat de resultaten nog steeds erg onzeker zijn. Wegen helpt dus wel, maar het geen perfect oplossing. Als je het goed doet, komt je resultaat dan overeen met de foutmarges van een aselecte steekproef.

Je kunt ook weging toepassen om de foutmarges wat kleiner te maken dan bij een willekeurige steekproef. Als je bijvoorbeeld weet dat alle protestanten op het CDA stemmen, dan kun je het zetelaantal van het CDA beter voorspellen als je het aantal protestanten in de steekproef precies gelijk stelt aan het aantal protestanten in het hele land. Zulke voorspellers zijn er niet veel en ze voorspellen niet perfect. Maar het kan helpen. Eén van de voorspellende factoren is het stemgedrag in de vorige verkiezingen: een grote groep mensen stemt immers meestal op dezelfde partij. De voorspelling is niet perfect, maar het helpt wel.

Een weging naar stemgedrag in vorige verkiezingen verkleint de foutmarges, zo leert een simulatie op basis van het Nationaal Kiezers Onderzoek van 2006. Hierbij trok ik duizend keer een steekproef van 1000 mensen uit de database van dit onderzoek. Dit simuleert de mogelijke 'peilingen' die uit een hele bevolking zouden kunnen worden getrokken. De groene balken geven de gemiddelde verwachting van het stemmenpercentage in een ongewogen aselecte steekproef; de zwarte lijnen geven de onzekerheid van de verwachting aan. De blauwe balken geven de verwachting en onzekerheid aan van een gewogen steekproef, naar stemgedrag 2003. De gemiddelde verwachting is praktisch hetzelfde, maar de foutmarges zijn iets kleiner, met name voor de Christelijke partijen die een vaste aanhang hebben. Dergelijke wegingen kunnen dus de foutmarges verkleinen, maar dat hangt sterk af van de voorspellende waarde van de wegingsvariabele. De peilingsbureaus geven niet precies aan hoe ze wegen, dus het is lastig om te bepalen in hoeverre hun foutmarges worden beperkt door het wegen.

Wat beter kan

Allereerst moeten peilingbureaus duidelijk aangeven onder hoeveel mensen zijn ondervraagd en wat (bij benadering) de onzekerheid van de verwachting is. Vervolgens zou het enorm helpen als media geen onzin meer uitkramen op basis van verschuivingen tussen twee peilingen. Als trends over meerdere peilingen doorzetten, kun je met redelijke zekerheid iets zeggen. Maar als een partij van maandag op dinsdag twee zetels daalt in de peiling, hoeft dat niets te betekenen. Peilingen kunnen nuttige instrumenten zijn voor kiezers en politici. Maar wie de foutmarges vergeet, geeft geen cijfers, maar verkoopt praatjes.