Lesgeven, media en het RIVM

Een wat langer stuk deze keer. Lage stikstofuitstoot door boeren klopt toch niet: ‘Verkeerd berekend’. Dit kopte RTLNieuws op 4 maart rond half een ‘s nachts. Nu lees ik meestal geen media artikelen, en al helemaal niet na middernacht, maar deze trok de aandacht op verschillende niveaus (ergens in de ochtend van de 4de).

Die niveaus hebben te maken met mijn functies in het dagelijks leven: docent aan een Nederlandse university college, adjunct hoogleraar (klinkt spannender dan het werkelijk is en ook nog eens onbetaald) aan Umass Massachusetts in de VS, en directeur van mijzelf in HAN-Research.

(Oh ja, ik ben ook nog (vrijwillig onbezoldigd) lid van het advies college Meten en Berekenen Stikstok, aka de commissie Hordijk, naar de voorzitter. Vanmiddag worden de eerste resultaten van dit college gepresenteerd. Ben benieuwd wat de media er uit vist.)

Laat ik beginnen bij het Mesdag-zuivelfonds die 2 maart met het volgende bericht naar buiten kwam:

‘Bug’ in rekenmodel OPS oorzaak onjuist stikstofcijfer

02-03-2020 - Op 20 februari heeft Mesdagfonds in een persconferentie in Den Haag een onjuist percentage naar buiten gebracht. Het betreft het percentage van het aandeel van 25% aan stikstofdepositie op natuurgebieden, dat afkomstig zou zijn van de landbouw. Dit percentage is berekend met het rekenmodel OPS en de emissie-datasets die het RIVM op 7 januari 2020 samen met een gebruikershandleiding openbaar heeft gemaakt. Een ‘bug’ in rekenmodel OPS, die tijdens de runs onmogelijk kon worden opgemerkt en ook niet was vermeld in de handleiding, blijkt de oorzaak van de onjuiste berekening. Mesdagfonds laat de berekening nu opnieuw uitvoeren. Wat het juiste percentage is, is op dit moment nog niet bekend.”

De berichtgeving van RTLNieuws heeft als strekking (ik chargeer hier): de boeren kunnen niet rekenen en het RIVM heeft alles op orde:

Dat de cijfers van het Mesdagfonds niet kloppen, heeft volgens het RIVM twee redenen. De onderzoekers zouden de berekeningen verkeerd hebben uitgevoerd. Ook hebben de boeren zich gebaseerd op alle Nederlandse natuurgebieden, terwijl het RIVM alleen kijkt naar gebieden die ‘stikstofgevoelig’ zijn. Daarom valt het cijfer van het Mesdagfonds veel lager uit.

Het Mesdagfonds erkende gisteren al wel dat er een fout was gemaakt, maar de onderzoekers zeiden dat de oorzaak een fout in het systeem van het RIVM is. Volgens het RIVM is daar geen sprake van.

Nu is het zo dat veel media uitingen over het conflict tussen de agrarische sector (ik laat andere sectoren even buiten beschouwing) en het landsbestuur niet uitblinken in helderheid over de posities van beiden en waarom het zo ver is gekomen.

Dat is begrijpelijk. Het stikstofverbindingen-verhaal is complex en beleid leunt primair op het wetenschappelijk apparaat, bijvoorbeeld ‘in de vorm van’ RIVM, TNO, universiteiten, enzovoort.

Met andere woorden: een select gezelschap van experts verteld bestuurders en politici hoe de vork in de steel zit (bij benadering dan) wat betreft wetenschappelijk begrip, internationale context en wat dies meer zij om wetten en regels op te stellen die (moeten) gelden voor onze samenleving als geheel.

Het kost nogal wat om experts, en wat zij schrijven, te begrijpen. Beiden hebben dus een ‘probleem’: hoe communiceer ‘ik’, expert, iets complex zonder de waarheid geweld aan te doen, wat begrijpen journalisten daarvan, en wat communiceert de media uiteindelijk aan het grote publiek?

Nu het RIVM. Op hun website wordt media en publiek bijgepraat over de laatste stand van zaken. Op 3 maart wordt onder andere het volgende gemeld (nadruk toegevoegd):

Het Mesdag-Zuivelfonds heeft de berekeningen uitgevoerd voor alle Natura2000-gebieden in Nederland. Dit in tegenstelling tot de berekeningen zoals in het rapport van de commissie Remkes, waarin uitgegaan wordt van het gehele landoppervlak van Nederland. De landbouwbijdrage voor heel Nederland is 46%. Wanneer de focus alleen op de stikstofgevoelige Natura 2000-gebieden ligt, dan is nog steeds de bijdrage van de landbouw het grootst. Afhankelijk van de gebruikte definities en rekenmethode is dan 41% van de stikstofdepositie toe te schrijven aan de landbouw. Dit is gebaseerd op de hectares stikstofgevoelige natuur binnen 130 Natura 2000 gebieden. … Zoals gezegd, uit nieuwe berekeningen blijkt dat de gemiddelde bijdrage van de landbouwsector aan de stikstofdepositie in stikstofgevoelige natuurgebieden 41% is. In een eerdere berekening was dit percentage hoger (45%), vanwege een onjuiste middeling van de gegevens over ongeveer 100 deelsectoren en 255.000 rekenpunten.”

Okay, het RIVM heeft na een herberekening de 45% naar beneden bijgesteld (41%). Ook zij hadden naar eigen zeggen een fout gemaakt. Prima dat het RIVM dat rapporteert, alleen RTLNieuws heeft het er niet over.

Oh ja, nog iets: “Met het Mesdag-Zuivelfonds is besproken dat de handleiding van het OPS-model onvoldoende duidelijk was om genoemde vergissingen in de berekeningen te voorkomen. Het RIVM had juist daarvoor een toelichting bij de data gevoegd op 7 januari. Er is dus geen sprake van een “bug” in het OPS-model.”

Dit is een enigmatische (blijft een leuk woord) opmerking (heeft RTLNieuws het ook niet over). Was de handleiding van het RIVM nu wel of niet (on)duidelijk? En over welke ‘bug’, als die al bestaat, hebben we het hier?

Ik ga hier geen oordeel vellen. Maar er is wel iets dat ik als docent kan zeggen. Lesgeven is een raar vak. Kennis is meer dan een ‘handboek soldaat’ waarin ‘alle kennis’ zou staan die een student slechts uit het hoofd moet leren. Met lesgeven én het ontvangen daarvan komt heel veel ‘skill’ kijken.

Mijn held Michael Polanyi -chemicus en filosoof- heeft het over ‘tacit knowledge’, kennis die je wel hebt maar niet kunt meedelen in taal. Een beroemde uitspraak van hem: “we can know more than we can tell.” Fietsen leer je niet door het fenomeen precessie te doorgronden. Je doet het gewoon.

Chemici kennen ‘tacit knowledge’ maar al te goed. Labwerk kun je niet leren uit een boek. Je moet het doen, net als fietsen. Observaties tijdens lastige chemische reacties -het maken van een Grignard bijvoorbeeld- leer je alleen door het doen, onder begeleiding van een doorgewinterde docent.

Kennis zit dus in mensen en niet in handboeken. Niet voor niets kunnen de oorspronkelijk Saturnus V Rocketdyne F-1 motoren niet meer worden nagebouwd. De mensen die ze ooit hebben ontwikkeld zijn allang met pensioen of leven niet meer. Maar alle bouwplannen zijn er nog wel. Dat is dus niet genoeg!

Kortom, de opmerking dat er een handleiding was aangeleverd op 7 januari stelt mij verre van gerust. Complete handleidingen bestaan niet en de bewuste onderzoeker die het Mesdag-zuivelfonds heeft ingehuurd is bepaald geen noob. Integendeel. Het RIVM heeft een bot toegeworpen maar niet de rest van het beest, zo lijkt het.

Transparantie is dus veel meer dan datasets en software met handleiding op het net plaatsen. Het vraagt geduldig communiceren met diegenen die resultaten van de instituties willen reproduceren. Zoals in dit Nature artikel Open is not Enough luid en duidelijk staat (in de context van het reproduceerbaarheidsvraagstuk dat al jaren levensgroot boven ‘de wetenschappelijke markt’ hangt; nadruk toegevoegd):

“Our own experience from opening up vast volumes of data is that openness cannot simply be tacked on as an afterthought at the end of the scientific endeavour. In addition, openness alone does not guarantee reproducibility or reusability, so it should not be pursued as a goal in itself. Focusing on data is also not enough: it needs to be accompanied by software, workflows and explanations, all of which need to be captured throughout the usual iterative and closed research lifecycle, ready for a timely open release with the results.”

Het is een goede ontwikkeling in onze samenleving dat steeds meer ‘buiten-experts’ zich aandienen om serieus werk te verzetten ten aanzien van onderzoek dat beleid onderbouwt.

Dat vraagt inderdaad meer werk van instituties zoals het RIVM. En het is méér dan stem en tegenstem: het gaat om betrokkenheid van burgers met verstand van zaken bij het onderzoeksproces naar deugdelijke onderbouwing van beleid dat iedereen in Nederland raakt.

De bottomline in dit verhaal nog lang is niet in zicht. De NOS bijvoorbeeld rapporteerde op 20 februari dat:

“Volgens politiek commentator van de NOS, Ron Fresen, zullen de resultaten opnieuw leiden tot veel discussie en twijfel in Den Haag. Maar hij denkt niet dat het veel invloed heeft op de plannen. “Dat landbouw een aandeel heeft staat vast.”

Minister van Landbouw Carola Schouten beaamde dat vandaag ook na de persconferentie. “Dat iedereen, over de hele linie, de stikstofuitstoot moet verlagen, staat buiten kijf.” ….”

Deze afsluitende zinnen geven niemand houvast, aangezien het schijnbaar weinig uitmaakt wie wat berekend en waar op uit gekomen wordt. Het laat de lezer wel achter met de ‘onbetwiste stelling’ dat stikstof nu eenmaal ‘een groot probleem’ is.

Afrondend, de meest evidente vragen naar behoud van welke natuur (dit is geen vraag naar de Habitatrichtlijn!), kritische depositie waarden, de efficiëntie van maatregelen op het gebied van stikstofdepositie (in de context van andere maatregelen), de maatschappelijke investeringen die daarmee gepaard gaan, en zo verder, zijn met dit alles nog niet aan bod gekomen.

In het advies Risico’s en redelijkheid Verkenning naar een rijksbreed beoordelingskader voor de toelaatbaarheid van risico’s hebben mijn collega’s en ikzelf geconstateerd dat voor allerlei risicobeleid kosten en baten worden afgewogen zoals bijvoorbeeld bij vaccinaties:

“De afweging van kosten en baten is in de gezondheidszorg al lang een gewoonte. Zo geldt voor de opname van een vaccinatie in het rijksvaccinatie- programma als richtsnoer dat de kosten per gewonnen en gewogen levensjaar (qaly) niet hoger zijn dan € 20.000.”

Het lijkt mij de hoogste tijd dat een vergelijkbaar beoordelingskader voor stikstofbeleid (ook risicobeleid) gaat gelden. Niet om natuur ‘in geld uit te drukken’, maar om de wetenschappelijke en sociaal-maatschappelijke grenzen van ons kennen en kunnen te duiden en daar open over te zijn.


© 2019. All rights reserved.