Is wetenschappelijk onderzoek en de kennis die daaruit voortkomt hetzelfde als peer-reviewed publiceren? NEE! Natuurlijk niet! Duh. Domme vraag eigenlijk. We hebben het er eerder over gehad. Maar voor dat we verder gaan: wat is peer-review eigenlijk?

Als je een wetenschappelijk artikel wilt publiceren in één of ander wetenschappelijk tijdschrift -er zijn er echt duizenden van!- dan moet je artikel worden beoordeeld door collega-wetenschappers.

Dat zijn je ‘peers’, het Engelse woord voor ‘gelijken’, niet het fruit.

Waarom? Een aantal redenen: (1) handhaven van de kwaliteit van het wetenschappelijke onderzoeksveld; (2) de ethiek van het onderzoeken en publiceren van wetenschappelijke resultaten; (3) voorkomen van fraude en ander onethisch gedrag (zie de affaire Stapel); (4) beschermen van de kwaliteit van het tijdschrift.

Voor alle duidelijkheid: peer-review is geen audit.

Bij een audit van een stuk wetenschappelijk werk wordt het onderzoek in z’n geheel nageplozen om te kijken of alles klopt wat betreft experimentele methoden en technieken, gebruikte data en modellen, tabellen en grafieken, discussie en conclusies.

Audits zijn omvangrijk; natuurlijk. Dat vraagt meestal maanden werk. En niemand betaalt je er voor!

Maar: onderzoekers zouden alles moeten kunnen aanleveren om een eventuele audit door anderen sowieso mogelijk te maken.

Peer-review zoals hierboven besproken heeft echter twee familieleden van zeer twijfelachtig allooi: pal-review - vrienden-review - en, erger, gatekeeper-review - poortwachter-review.

Beide vormen van review-ontaarding zorgen er voor dat wetenschappelijke onderzoeksvelden vastroesten met als gevolg dat wetenschappelijke voortgang daar tot stilstand komt.

Vrienden review is eenvoudig te begrijpen: je doet onderzoek, wilt dat makkelijk maar vooral snel publiceren - bestuurders vragen om beleidsondersteuning, of zoiets - en je vraagt een paar wetenschappelijke naasten om naar je werk te ‘kijken’.

Zo gezegd zo gedaan.

Kritische reflectie is veelal minimaal want, zoals gezegd, het is een onderonsje tussen wetenschappelijke vrinden. Het werk is bekend en de wetenschappelijke stempel van goedkeuring is snel verkregen.

Klaar is Kees: de CV is weer uitgebreid met een publicatie én het publiek en de politiek is wederom opgezadeld met een studie die, op het oog, het wetenschappelijke zegel van goedkeuring kan wegdragen.

Daar wordt uiteraard mee gekoketteerd. Want: pal-, excuseer, peer-reviewed!

Het kwaadaardige familielid van vrienden-review is poortwachter-review. Hiermee zorgen sommige onderzoekers dat ‘hun’ onderzoeksveld gevrijwaard blijft van zeurpieten die, bijvoorbeeld, om transparantie vragen van gepubliceerd onderzoek en bijbehorende (ruwe) data.

Laat ik dat illustreren aan de hand van een ‘review’ die collega Briggs en ik ontvingen op onze eigen analyse van de ammoniakemissie bemestingsdata die wij na heel veel vijven en zessen ontvingen van de WUR.

U weet wel, de ammoniakemissiedata die dan weer waren weggegooid, zoekgeraakt, verhuisd en daarna verdwenen, en plots weer opdoken. Dit schreef de anonieme reviewer aan ons adres:

“This manuscript does not meet the requirements of a scientific paper. It lacks the micrometeorology foundation. This is deceptive to see a database so poorly “analyzed”. Manuscript is not well proofread, mathematic statements are absolutely not rigorous, figures are not well presented and analyses are ridiculous. The manuscript is not well organized with comments out of nowhere, methods in results, no solid theoretical approach. I did not find any proof of mastering ammonia emission processes, atmospheric and soil chemistry nor micrometeorology.The Ryden & McNeil Ammonia Flux Model is an unusual description of the mass balance method or of its variance, the Integrated horizontal flux method. Even the title is completely wrong. My recommendation is that this manuscript should be rejected and not accepted for resubmission.”

Lees dit eens rustig door. De geachte reviewer, afgezien van zijn pover begrip van de Engelse taal, poneert hier van alles en nog wat zonder enige vorm van bewijs.

Alle kritiek die deze persoon hier oplepelt zou eenvoudig te illustreren zijn aan de hand van ons manuscript. En, en? Nope, nada, niets van dat al.

De reviewer lapt de wetenschappelijke mores aan zijn (of haar) laars. (En de editors van het wetenschappelijke tijdschrift trapten er met open ogen in.)

Hier is een poortwachter aan het werk die ook iets te verbergen heeft.

Dát blijkt uit één heel interessante opmerking, namelijk dat wij de dataset ‘slecht analyseren’. Full disclosure: de gehele ammoniakemissie bemestingsdataset van de WUR is vóór 2017 überhaupt nooit (als in nooit) geanalyseerd!

U leest het goed! En: ik weet dat heel zeker.

Collega’s Briggs, Crok, en ondergetekende hebben dat in 2017 voor het eerst gedaan, weliswaar met niet-relevante bemestingsdata behorend bij het 2012-rapport van Huijsmans en Hol (zie ook ons 2017-rapport).

De 2016-verzamelstudie van Huijsmans et al. over ammoniakemissies na bemesting, die maar liefst 199 experimenten beslaat waarvan de data … enzovoort (zie boven), geeft niets van wat maar enigszins lijkt op een statistische (onzekerheids)analyse van gebruikte experimentele methoden, technieken, data en modellen.

Ammoniakemissies worden ‘foutloos’ gerapporteerd in Huijsmans et al., zoals dat al decennia gebeurt in tal van andere ammoniakstudies. Emissiebeleid is dus de afgelopen ±20 jaar op die ‘foutloze’ studies gebaseerd.

Wat een treurigheid; wat een onkunde.

Anyway, vrienden- en poortwachter reviews. Het Nederlandse stikstofdossier is er, op z’n zachtst gezegd, niet onbekend mee.

Kijk maar eens naar de auteurs van Relaties tussen de hoeveelheid stikstofdepositie en de kwaliteit van habitattypen. En kijk dan eens naar de peer-reviewers. Precies: ons kent ons.

Uit de evidente fouten in deze studie - zie een kleine opsomming in mijn vorige blogpost - blijkt dat de peer-review niet meer dan een wassen neus is.

Als de opdrachtgevers echt lef hadden getoond, had men uw geachte blogger met collegae uitgenodigd om een grondige peer-review - preciezer: een audit - uit te voeren.

Maar: dan hebben we ook de onderliggende data nodig om het werk te kunnen reproduceren. U raadt het al: die krijgen we niet!! Dit zegt de opdrachtgever erover nadat collega Rotgers erom vroeg:

“Dit zijn ruwe data in eigendom van (buitenlandse) onderzoekers, het is niet aan het ministerie van LNV om die data te delen met media.”

Met dit antwoord verliest bovengenoemd rapport enige wetenschappelijke status, voor zover aanwezig, en eventuele beleidsondersteunende kwaliteiten, voor zover aanwezig.

De evidente contradictie tussen ‘wetenschappelijk’ en ‘beleidsondersteunend’ daargelaten, het antwoord uit de Haagse burelen raakt kan noch wal:

  • Het Nederlandse schrijverscollectief van het rapport had kunnen weten dat de data zou worden opgevraagd door ondergetekende en collegae.
  • Het verwijzen naar andermans eigenaarschap is geen excuus om data niet vrij te geven. Men kan simpelweg de data-eigenaren, met gegronde redenen (en die zijn er!), op de hoogte stellen van het delen met ons daarvan.
  • Immers: noblesse oblige. Dat blijkt uit het volgende op p. 5 van het rapport: “Een review van de rapporten op wetenschappelijke kwaliteit door een referent maakt standaard onderdeel uit van ons kwaliteitsbeleid.” Boter bij de vis: transparantie en reproduceerbaarheid oftewel databeschikbaarheid! You can’t have your cake and eat it too.

Hoe vaak nog moet ik, moet de Nederlandse politiek, de Nederlandse samenleving geconfronteerd worden met deze afzichtelijke en ontoelaatbare geheimdoenerij?

Wát ben ik níet onder de indruk - de Engelsen hebben daarvoor het mooie woord: underwhelmed - van het Nederlandse stikstofonderzoek.

En over ‘twijfel zaaien’ van mijn kant gaat het al helemaal niet, nog los van het feit dat methodische twijfel één van de wezenskenmerken is van het wetenschappelijk bedrijf.

Kortom: de basale wetenschappelijke standaarden worden ex cathedra als niet-geldend verklaard voor het Nederlandse stikstofdiscours, ondanks de vergaande maatschappelijke consequenties daarvan. (Zie bovenstaand punt 2.)

Dit brengt mij afsluitend bij het plaatje dat boven deze blogpost prijkt. Uw waarde blogger doet, zo af en toe, ook nog wel eens een peer-reviewed duitje in het wetenschappelijke zakje.

Waarom?

Ik heb het vaker gezegd, ook ten overstaan van de vaste Kamercommissie Landbouw, Natuur en Voedselkwaliteit: in de vakgebieden waar ik voornamelijk actief ben is het werkelijk mogelijk kritische noten te kraken.

Bovendien: beide papers in het tijdschrift Science of the Total Environment heeft niemand een cent gekost, behalve uw geachte blogger. Liefdewerk oud papier dus.

Dat brengt mij afsluitend bij een mogelijk antwoord op de vraag waarom recent meerdere stikstofrapporten met grosso modo dezelfde strekking het licht hebben gezien.

Het ligt zóo voor de hand: zowel de rapporten zélf als de monotone adviezen die erin staan leveren een select onderzoeks- en natuurbeschermersgezelschap substantieel veel geld op, nu en in de toekomst. Geld, natuurlijk, van het parasitaire subsidie-soort.

Maar: dit is slechts een hypothese …