Debat over peilingen kan wel wat nuchterheid gebruiken

NRC Handelsblad publiceerde dit weekend een artikel waarin de peilingen die Maurice de Hond voor 50PLUS maakte centraal stonden. Een aantal politicologen, waaronder ikzelf, uitte stevige kritiek op die onderzoeken. De Hond reageerde via zijn website en noemde het artikel ‘vuilspuiterij’, de reacties van de wetenschappers ‘ongefundeerd’, ‘zwaar overtrokken’ en ‘walgelijk’. Misschien is het in dat licht goed om mijn reserveringen bij de genoemde onderzoeken eens nuchter naar voren te brengen.

Enige tijd geleden contacteerde NRC-journalist Huib Modderkolk me waarbij hij aangaf dat hij naar de relatie tussen 50PLUS en De Hond keek, omdat een aanmerkelijk deel van het geld van het wetenschappelijk bureau aan peilingen was opgegaan. Later liet hij weten dat De Hond niet alleen betaald onderzoek had gedaan voor 50PLUS, maar ook onbetaald – iets wat hij voor andere partijen, zo zei de journalist, niet deed. Dat verbaasde me. Het is natuurlijk het goed recht van De Hond om voor wie dan ook voor welke prijs dan ook te peilen, maar het lijkt me goed om hier dan volstrekt open over te zijn. Overigens  vermeldde De Hond het opdrachtgeverschap van de partij van Jan Nagel steeds netjes, maar in dit soort gevallen lijkt het me ook goed om open te zijn over het al dan niet belangeloos uitvoeren van het onderzoek.

Belangrijker dan het opdrachtgeverschap is de vraag wat de resultaten van peilingen zeggen. Politicologen uiten vaak bezwaren tegen de methodologische aanpak van De Hond. We weten niet precies welke methoden hij toepast; de verantwoording op de website geeft enig inzicht, maar laat veel vragen onbeantwoord. Duidelijk is dat De Hond de deelnemers aan zijn peilingen zichzelf laat aanmelden; uit dat panel trekt hij vervolgens een steekproef. Probleem met deze aanpak is dat je niet weet hoe representatief deze groep is voor de hele populatie. Het zogenaamde ‘herwegen’ op populatiekarakteristieken helpt, maar werkt alleen voor kenmerken waarvan we precies weten hoe de populatie eruit ziet. Bovendien is het onduidelijk hoe groot de onzekerheidsmarge van de peiling precies is.

Bij de bewuste 50PLUS-peilingen is er nog iets aan de hand. De vraagstelling is immers vaak ‘negatief’ over de positie van ouderen en de rol van de ouderen. Ik heb erop gewezen dat het beter is om een meer gebalanceerde vragenlijst voor te leggen, zelfs al is er discussie over het eventuele effect van vraagstelling op de resultaten van opinieonderzoek. Daarom vragen de meeste peilingbureaus bijvoorbeeld eerst naar stemgedrag en leggen ze pas daarna stellingen voor. Bij mijn beste weten doet De Hond dit vrijwel altijd andersom, waardoor er potentieel een effect is van het stellen van inhoudelijke vragen op de uitkomst van de politieke voorkeursvraag. Het lijkt me de taak van onderzoekers om op deze zaken te wijzen.

Het lijkt me van belang om de discussie over nut, kwaliteit en effect van peilingen op een inhoudelijke manier te voeren. In dat licht voel ik me minder gemakkelijk bij enkele van de kwalificaties die in het NRC-artikel werden gebezigd, vooral ook omdat niet de onderliggende argumenten centraal stonden, zeker niet in het afgeleide artikel op de website. De reactie van De Hond speelt zo mogelijk nog meer op de persoon. Ik vind dat jammer, want het staat een constructief debat over peilingen, zoals ik dat met vele peilers wel op een goede manier heb, alleen maar in de weg.