Leuke column in de Volkskrant van vorig jaar 27 december 2019 - Dingen die in de jaren tien mogen achterblijven- van Sheila Sitalsing. De auteur levert een hele trits aan zaken die wat haar betreft de geschiedeniskast in en er nooit meer uit mogen.

Dit vind ik de leukste, fascinerendste maar ook meest onbegrijpelijke van achter te laten zaken:

“En om ‘Natúúrlijk liegt het Centraal Planbureau’ of ‘Is het meetmodel van het RIVM wel juist?’ te smiespelen wanneer de uitkomsten van een onderzoek het imaginaire volk niet bevallen.”

Wat wordt hier nu precies gezegd? Kan een ‘meetmodel’ wel onwelgevallige uitkomsten hebben? Of: heeft het meetmodel en de uitkomsten daarvan politieke betekenis van een bepaalde, voor het ‘imaginaire volk’, ongewenste kleur? Of: onderzoekers liegen (of niet).

Of nog anders: ik behoor geen kritische vragen te stellen bij modeluitkomsten gepresenteerd door onderzoeksinstituten betaald door de landelijke overheid. Of … en zo verder.

Echt waar, ik begrijp deze zinsnede in de column niet. Het woord ‘meetmodel’ is wat ongelukkig gekozen, maar daar ga ik niet over zeuren.

Er wordt bedoeld, neem ik aan, een rekenmodel waarin meetdata worden gebruikt voor een bepaald gedefineerd doel.

Maar welk doel het model ook heeft, linksom of rechtsom, een model is zo goed als de nauwkeurigheid van de voorspellingen die met dat model gedaan worden. Als die voorspellingen niet uitkomen na controle (van de werkelijkheid), dan kan het model de prullenbak in. Of zoals William Edwards Deming het ooit [zei]( “Wallis, W. A. 1980. The Statistical Research Group, 1942–45. Journal of the American Statistical Association 75(370): 320-330."):

“The only useful function of a statistician is to make predictions, and thus to provide a basis for action.’’

Dit brengt mij bij de kern van de uitspraak van Sitalsing. Elke uitkomst van wat voor model dan ook van juist onderzoeksinstituten gefinancierd door de rijksoverheid behoeven nauwkeurige controle.

Waarom heb ik het hier met name over rijksgefinancierde onderzoeksinstellingen (RIVM of het PBL)? Simpel. De uitkomsten van onderzoek uitgevoerd door deze instellingen, hebben veelal grote gevolgen voor overheidsbeleid en daarmee de Nederlandse samenleving.

En dan zijn reviews van modellen en uitkomsten niet genoeg. Externe experts behoren audits te doen. Dat wil zeggen, niet kijken naar ‘het proces’, of zoiets, maar naar de inhoud. Dus geen algemeenheden maar precisie. Ook als het over onzekerheden gaat.

En niet zeuren als uitkomsten van modellen niet bevallen, maar altijd ‘zeuren’! Hoe kunnen we ‘altijd zeuren’? Een no-brainer: onderzoeksinstituten moeten alles (en dan bedoel ik ook alles) -de modelprogrammatuur, de logs, de inputdata, de output, de onzekerheden, enzovoort, enzovoort- beschikbaar stellen aan ie-der-een.

We betalen met z’n allen, en dat is een groot goed, het werk van dergelijke onderzoeksinstellingen. En publiceren van al dat werk is tegenwoordig niet bijster ingewikkeld: internet.

Ik hoop dat 2020 in ieder geval een mooi jaar wordt voor ontwikkelingen langs de lijnen zoals ik hier geschetst heb. Dan kunnen parlement, onderzoekers en betrokken burgers de vinger aan de pols houden van onderzoeksland in stand gehouden door ons allemaal.

Gelukkig nieuw jaar!