Young journalists

De mens is van nature uit nogal wantrouwig. Godzijdank kunnen we voor onze zekerheden in het leven nog terugvallen op wetenschappelijk onderzoek. Cijfers liegen immers niet. Althans, daar gaan we van uit. Zolang men maar de allusie van onderzoek schetst en het geheel ondersteunt met wat mooie grafiekjes en cijfertjes, slikken mensen de grootste lulkoek als puur en onversneden waarheid. Dit blind vertrouwen in cijfers gaat voorbij aan het feit dat wetenschappelijk onderzoek moet voldoen aan strenge methodologische eisen. De onderzoekspopulatie moet zo representatief mogelijk weergegeven worden en meetfouten dienen beperkt of onder controle te blijven. Ook voor de interpretatie van het uiteindelijk verzameld materiaal moet uitvoerig getoetst worden op statistische relevantie eer men valide conclusies kan trekken.

Men komt hier wel in gespecialiseerd vaarwater terecht. Het grote publiek heeft niet veel kaas gegeten van multivariate statistiek en is vooralsnog niet bekend met termen als Kendall’s Tau, Cronbachs alfa, standaardafwijkingen, box and whisker plots, etc. Ronduit slecht gevoerd of nietszeggend onderzoek zal dan ook door hen niet gedetecteerd worden. Ook journalisten zijn in deze niet terdege getraind. Hun kritische oog gaat dan ook dikwijls voorbij aan wetenschappelijke methodologie. Interpretaties over de resultaten zullen vaak ongenuanceerd verschijnen en worden gehanteerd als gezagsargument, zonder evenwel een besef van de validiteit ervan. Als betrouwbare bron voor zijn lezerspubliek kan de journalist zo legitimiteit verschaffen aan totaal uit de lucht gegrepen stellingen.

Zo presteerde de gezamenlijke Nederlandstalige Belgische pers het in januari van dit jaar te publiceren dat “merkkleding dragen vrouwen slimmer maakt”. In diezelfde periode slaagden de kranten er ook in de stelling te lanceren dat “één op vier ouders willen dat hun kind op school Chinees leert”. Men hoeft in deze al niet de meest kritische geest zijn om te veronderstellen dat hier op zijn minst een gebrek aan nuance is tentoongespreid. Als men het onderzoek zelf wat naderbij bekijkt, vallen ook onmiddellijk een aantal zaken op die de validiteit ervan in twijfel trekken. Zo doet het eerste onderzoek uitspraken over de gehele vrouwelijke populatie, doch is ze slechts gestoeld op een deelnemersgroep van veertig vrouwen, met een controlegroep van nog eens veertig vrouwen. Veel te weinig in ieder geval om tot betrouwbare resultaten te komen. Bovendien wordt slechts met een zeer beperkt aantal afhankelijke variabelen rekening gehouden, in een gesloten setting, daar waar men een zeer complex fenomeen als invloed van perceptie pleegt te onderzoeken.

In het tweede geval werd het “onderzoek” uitgevoerd door een organisatie die tot doel heeft de Chinese taal te promoten. Objectiviteit is in deze ver zoek, en de vraagstelling bij respondenten werd ook danig gestuurd. Zo zal iedereen het wel eens kunnen zijn met het feit dat China een grote economie vertegenwoordigd. Voorts stemt men in met het feit dat Chinees een belangrijke taal kan worden in de toekomst, waarop men het dan voorzichtig raadzaam vindt dat men deze taal installeert in onze scholen. Op die manier kan elke stelling uiteraard bewezen worden. Het is slechts een kwestie van de juiste setting en de juiste manipulatie in te voeren, en de respondent wordt net als de uitkomst van het onderzoek in een bepaalde richting geduwd.

Deze schijnbaar onschuldige fait-divers duiden op wat potentieel mis kan lopen in de hedendaagse media. Tijdens de verkiezingen, wanneer deze verwordt tot epicentrum van stemmingsmakerij, schuilen de meeste gevaren. Verkiezingen luiden immers een komen en gaan van opiniepeilingen en enquêtes in. Wanneer de resultaten ervan het lezerspubliek ongewild sturen, kan men maar beter prat gaan op degelijk onderbouwd materiaal. Nog markanter wordt het wanneer men zelfs ongegeneerd intendeert het lezerspubliek te beïnvloeden. Het gaat dan om stemadvies, in de vorm van een zogenaamde stemtest.

De laatste jaren heeft in deze met name De Standaard een behoorlijke reputatie opgebouwd. In samenwerking met de openbare omroep ontwikkelde deze in het verleden een degelijke, wetenschappelijk onderbouwde stemtest. Door de vervroegde verkiezingen dit jaar werd wegens tijdsgebrek echter het onderzoek opgezet door leden van de redactie. Hoewel zij deze maal niet pretenderen een wetenschappelijk onderzoek te voeren, teren zij wel nog steeds op deze reputatie. Er wordt dan ook geen moment geschuwd om het publiek met eigenlijk ongefundeerde cijfers om de oren te slaan. Te pas en te onpas verschijnt de vraag “U weet nog niet op wie u moet stemmen?”. Vervolgens het logische antwoord “Doe dan de stemtest!”. Het gezagsargument dat “reeds zevenhonderdduizend mensen het u voorgedaan hebben” is dan meestal niet ver weg. Resultaten worden ook kwistig gepubliceerd en gretig overgenomen door andere media. Allemaal misleidende informatie voor het publiek, want in geen enkel opzicht is deze stemtest een betrouwbare indicator voor kiesintenties.

Vooreerst zijn immers de zevenhonderdduizend mensen, hoe groot het getal ook, geen betrouwbare waardemeter van een juiste vertegenwoordiging van de populatie. Iedereen kan de test verschillende malen invullen, maar niet iedereen zal er zijn tijd willen insteken. De talrijke crashes zorgden er bijvoorbeeld ook voor dat verschillende personen de test verschillende malen dienden te herstarten, doch met behoud van de eerder opgeslagen “stemmen”. Dit was zeker niet de enige tekortkoming van de stemtest. Potentieel het meest bias genererende aspect is namelijk de vragenlijst waarop men de uiteindelijke resultaten baseert. Deze van De Standaard is in dat opzicht geen toonbeeld van correcte methodiek.

Er wordt namenlijk gebruik gemaakt van dertig verschillende stellingen, waarbij een bepaalde voor- of afkeur getoetst wordt aan de voor- of afkeur ten opzichte van deze stellingen bij de verschillende politieke partijen. Op zich geen probleem, ware het niet dat bijvoorbeeld elke vorm van nuance verloren gaat wanneer men een slechts een drievoudige schaal hanteert, gaande van “akkoord”, “niet akkoord”, tot “geen mening”. Bovendien zijn de vragen soms regelrecht slecht gesteld. Zo wordt systematisch gebruikt gemaakt van het zeer sterk geladen werkwoord “moeten”. Voor of tegen een stelling zijn wordt dan nog minder genuanceerd, want akkoord gaan met de stelling vereist een zeer duidelijke stellingname. Politieke partijen of gewone respondenten die deze stellingname nuanceren zullen bij deze vragen dan ook geneigd zijn “niet akkoord” of eerder, “geen mening” te kiezen. Bovendien wordt soms binnen dezelfde stelling gepeild naar twee verschillende zaken. Het al dan niet instemmen met één ervan, impliceert uiteraard niet dat hetzelfde geldt voor het ander, waardoor men uiteindelijk niet weet op welke van de twee geantwoord werd.

Al deze stellingen worden voorts getoetst aan de antwoorden van verschillende politieke partijen. Ook hier rijzen weer enkele problemen. Niet enkel zijn bepaalde partijen hiervoor geweerd, wat een vertekend beeld geeft, ook op de correctheid van hun antwoorden is op geen enkele manier gecontroleerd. Zo kan een populistisch gezinde partij regelrecht liegen in zijn antwoord op een stelling, hetgeen bijvoorbeeld de NV-A dankbaar gedaan heeft in vragen omtrent de salarissen van managers en arbeidsmobiliteit ten gunste van de werkgever. Ook de keuze van de stellingen is in die mate gekleurd dat zeker niet alle relevante thema’s op een gelijkwaardige manier naar boven kwamen. Partijen die inzetten op deze thema’s komen dan in de eindafrekening minder uit de verf.

Het mag duidelijk zijn dat de resultaten in deze eindafrekening allesbehalve betrouwbaar te noemen zijn. Politieke voorkeuren worden schematisch voorgesteld door bovenaan een lijst de partij te plaatsen waarmee het meest overeenstemming werd behaald, onderaan uiteraard deze met het minst overeenstemming. Door de onduidelijke vraagstelling is dit veelal een weergave met weinig verschil tussen de partijen. Achteraf uitpakken met resultaten afgeleid uit deze enquête is dan ook je reinste desinformatie. In een rol als stemmingmaker is het dan ook niet echt fatsoenlijk dit ongenuanceerd te doen.