Dagelijks worden we geconfronteerd met ‘verontrustend onderzoek’. Helaas is het vaak onmogelijk voor de niet-ingevoerde persoon om daar chocolade van te maken.

Want: waar het gaat het precies over? Is er reëel gevaar te duchten? Hoe nauwkeurig zijn de risicoschattingen? Wordt er overdreven (bijvoorbeeld om nieuw onderzoek gefinancierd te krijgen of bepaald beleid af te dwingen)? Wordt het gevaar onderschat? Kunnen we zelf iets doen aan het gevaar of maakt het allemaal niet uit?

Geen eenvoudige vragen (en er zijn er veel meer te bedenken) die voor elk ‘verontrustend onderzoek’ ongetwijfeld andere antwoorden oplevert. Desondanks zijn er enkele vuistregels die kaf en koren van elkaar kunnen scheiden.

Het beroemde artikel van John P. A. Ioannidis, Why Most Published Research Findings Are False (laat die titel even op je inwerken), geeft in ieder geval een paar van die vuistregels. Ik noem er vier (en voeg hier en daar wat zaken toe):

  1. Hoe kleiner het aantal personen in een studie, hoe kleiner de kans dat de uitkomsten waar/betrouwbaar zijn. Dat ligt voor de hand. Een kleine populatie geeft maar een beperkt beeld van de situatie. (Het is wel zo dat je de betreffende studies moet lezen om dat te zien. Dit wordt zelden op het 8-uur Journaal gemeld.)

  2. Hoe groter de financiële belangen, hoe kleiner de kans dat de uitkomsten waar/betrouwbaar zijn. Dit punt wordt vaak genoemd in de context van commerciële belangen, dat wil zeggen onderzoek betaald door bedrijven. En niet onterecht, laat dat duidelijk zijn. Aan de andere kant, commerciële belangen zijn simpel!

    Wat minder vaak wordt opgemerkt en complexer is, is dat overheden ook belangen hebben, bijvoorbeeld van het politiek/ideologische soort, die onder andere tot uitdrukking komen in onderzoeksfondsen die een bepaald soort onderzoek stimuleert. Als er veel onderzoeksgelden vanuit overheden beschikbaar worden gesteld voor, bijvoorbeeld, de energietransitie, dan wordt de kans groot dat veel onderzoeksresultaten weinig tot geen duurzame waarde hebben.

    Ook kunnen geliefde theorieën en hypothesen in leven gehouden worden door financiers en onderzoekers. Dat leidt regelmatig tot ‘gatekeeper’ gedrag van de belangrijkste onderzoekers die resultaten, die buiten de ‘gebaande paden’ vallen, bij peer-review blokkeren. Het onderzoek dat binnen de ‘gebaande paden’ valt wordt niet zelden bevoordeeld (schertsend wel eens ‘pal-review’ genoemd).

  3. Hoe modieuzer het onderzoeksveld, hoe kleiner de kans dat de uitkomsten waar/betrouwbaar zijn. Als veel onderzoeksgroepen financiering krijgen om ‘modieus onderzoek’ te doen, dan is de concurrentie groot. Om de concurrentie voor te blijven wordt de publicatie- en publiciteitsdrift steeds groter. Journalisten worden vervolgens bestookt met persberichten, waarna het publiek en de politiek wordt bestookt met al dat ‘spannende’ en ‘verontrustende onderzoek’.

    Wat dit punt nog lastiger maakt is dat onderzoek zonder resultaten vaak in bureaulades blijven liggen, want wie is daar nou in geïnteresseerd? We krijgen dus alleen onderzoek voorgeschoteld die effecten laten zien, en vrijwel nooit onderzoek die geen effecten kan aantonen.

  4. Hoe kleiner de gerapporteerde effecten, hoe kleiner de kans dat de uitkomsten waar/betrouwbaar zijn. Dit vraagt een beetje uitleg, zoals over het belangrijke verschil tussen het relatieve en absolute risico. Lastige termen? Valt wel mee. Een tweetal plaatjes met vergelijkingen tussen wel of geen blootstelling aan iets wat ziek kan maken (naar Noordzij et al., 2017):

De bovenste rijen emojis met thermometer zijn de ziektegevallen. De glimlachende emojis zijn niet ziek. Wat valt in beide plaatjes op? De relatieve risico’s (RR) van beide groepsvergelijkingen zijn hetzelfde! Maar de absolute risico’s zijn nogal verschillend!! Reken even mee.

Het eerste vergelijk levert een RR van 0.05 : 0.03 = 1.67. Dat wil zeggen dat de blootgestelde groep 67% meer kans heeft om ziek te worden. Dat lijkt veel, maar het absolute risico is maar 0.05 - 0.03 = 0.02 oftewel 2%. Een relatief percentage zegt dus weinig tot niets over de absolute ziektekans. Kijk maar.

Het tweede vergelijk levert eenzelfde RR van 0.66 : 0.40 = 1.67. Dat wil zeggen dat de blootgestelde groep wederom 67% meer kans heeft om ziek te worden. Maar het absolute risico is 0.66 - 0.40 = 0.26 oftewel 26%. Dus in de tweede vergelijking van ziektegevallen en blootstelling is het RR hetzelfde als de eerste, maar in absolute termen is het risico fors hoger dan in het eerste geval.

Trouwens, het lijkt heel makkelijk om te praten over blootstelling, maar dat is het allerminst. Het voorbeeld van fijnstof laat dat zien. Belangrijkste vraag: wordt fijnstofblootstelling bij mensen eigenlijk wel vastgesteld om zo gezondheidsschade te achterhalen? Nee. Nope. Niet dus.

Lees dit nog eens. Dus of echte blootstelling van bepaald niveau en duur iets aan gezondheidsschade veroorzaakt is allerminst duidelijk. (Cliffhanger: ik kom hier op terug in een latere blogpost.)

En dan moeten we het nog hebben over het belangrijke feit waar we mee begonnen in dit 4de punt. Het is helemaal niet zeker bij het kleine aantal ziektegevallen of de blootstelling de ziekte daadwerkelijk heeft veroorzaakt. Dat is zelden vast te stellen, tenzij het ziektemechanisme nauwkeurig bekend is. Maar dat is bij hoge uitzondering het geval.

Kleine ‘effecten’ en ‘grote’ percentages? De eerste reactie zou moeten zijn: daar geloof ik vooralsnog niets van!