Ik weet het, een pittige titel. Maar dat is niet voor niets. Collega Briggs, Rotgers en uw waarde blogger hebben onszelf de taak gesteld de in maart vrijgekomen validatiestudies onder de loep te nemen.
Bij dezen samengevat onze bevindingen, in zijn totaliteit te vinden op Researchgate.
Het RIVM heeft, zoals ‘te doen gebruikelijk’, de onderliggende data van de validatiestudies (nog) niet beschikbaar gesteld.
Dat moet per onmiddellijk gebeuren gezien het enorme politieke en maatschappelijke belang, volkomen misplaatst zoals zal blijken, dat aan AERIUS/OPS wordt toegekend. Dit is onze abstract:
“We investigate the AERIUS/OPS model predictive skill. It has none compared to a simple “mean” model. Skill is the demonstrated superiority of one model over another, given specific verification measures. OPS does not have skill compared to a simple “mean” model, which beats OPS using some measures. Further, the verification measures used are themselves weak and inadequate, leading to the judgment that AERIUS/OPS should be shelved until an adequate replacement can be found."
Eerst wat context. Op 28 maart 2022, naar aanleiding van een Wob-verzoek van Jan Cees Vogelaar naar validatiestudies van het OPS-model, werd gemeld dat er vier van dergelijke studies bekend zijn die tot dan toe niet in de openbaarheid waren:
- ‘Kincaid’ - Kincaid-test (SO2, hoge bron). Receptoren <20 km. Aantal maanden in 1980 en 1981.
- ‘Falster’ - Testvarkensboerderij Falster (DK), NH3. Receptoren <300 m. Metingen gedurende 12 perioden van 7 dagen.
- ‘North Carolina’ - Test varkensboerderij North Carolina (USA), NH3. Receptoren <700 m. Metingen gedurende 46 perioden van 7 dagen (2004).
- ‘Prairiegrass’ - Prairiegrass-experiment (SO2, lage bron); kalibratie Gauss-model zoals in OPS. Afstand tot 800m. 68 perioden van 10 minuten.
Voor de gemiddelde lezer zijn deze teksten niet zomaar te doorgronden. Gelukkig heeft collega Briggs heel wat kilo’s kaas gegeten van het testen van modellen.
Oh ja: de onderliggende data hebben we (nog) niet ontvangen van het RIVM. (Had ik dat al gezegd?) Wat kunnen we dan analyseren?
Genoeg, gelukkig. We hebben onder andere gekeken naar de validatie systematiek en in hoeverre AERIUS/OPS ‘skill’ heeft (kom ik straks op terug).
Hoofdconclusie: AERIUS/OPS moet onmiddellijk ‘uit de lucht’ worden gehaald. AERIUS/OPS is onbruikbaar voor de doeleinden die overheden toekennen aan dit model, en wel hierom:
- De gedane validatiestudies melden zélf dat AERIUS/OPS ondermaats presteert (‘performs poorly’). Dat is opzienbarend gezien het feit dat AERIUS/OPS, ondanks deze vroegtijdige negatieve kwalificatie, toch in gebruik is genomen en nog steeds in gebruik is.
- AERIUS/OPS presteert minder goed dan een simpeler model dat alleen gemiddelde atmosfeer concentraties berekent. Anders gezegd: het simpeler model ‘presteert’ beter dan AERIUS/OPS, waarmee OPS dus geen skill heeft.
- De toetsingscriteria om AERIUS/OPS te verifiëren zijn ondermaats, dat wil zeggen te ‘makkelijk’, waarmee AERIUS/OPS veel te snel als ‘acceptabel’ werd bestempeld.
- Een eigen AERIUS/OPS testrun laat betekenisloze resultaten zien: een 50% reductie van vee van een bepaald bedrijf leidt tot een afname van stikstofdepositie met 0.1%, iets wat onmeetbaar is en modelmatig ruim wordt overstegen door rekenonzekerheden.
Ik zal de vierde conclusie eerst toelichten, waarna ik conclusie twee kort zal bespreken. De run die we hebben gedaan betreft Natura2000 Lieftinghsbroek. De aanwezige habitats zijn de volgende:
- H9120 beuken-eikenbos met hulst (rood) - 10,71 ha met KDW 1429 mol N/ha/y;
- H9160A (eiken-haagbeukenbos (lila) - 1,29 ha met KDW 1429 mol N/ha/y;
- H6410 (blauwgraslanden (paars) - 0,32 ha met KDW 1071 mol N/ha/y.
Per hexagon ziet de achtergronddepositie (2019) voor Lieftinghsbroek er als volgt uit. Waarde lezers moeten zich niet in de luren laten leggen door dit mooie plaatje dat AERIUS/OPS op de monitor tovert. Dat is maar schijn, zoals we zullen zien:
De AERIUS/OPS-runs die vervolgens zijn gemaakt hebben de volgende uitgangspunten, waarbij de boerderij gepositioneerd is op 2000 m afstand van dit Natura2000 gebied:
- Emissie per koe is gesteld op 10 kg ammoniak/jaar behorend bij een ‘gemiddelde’ stal waar de koeien zich in bevinden.
- Er is gebruik gemaakt van standaardwaarden voor emissiehoogte en temperatuur.
- Er is berekend voor 1, 100, 200 en 400 koeien. De achtergrondwaarden staan de facto voor ‘0 koeien’.
De hexagon met de hoogste achtergronddepositie (1938 mol N/ha/y) bleek ook de hoogste deposities te hebben voor het verschillende aantallen koeien. De tabel van onze testrun ziet er als volgt uit:
Depositie als gevolg van de verschillende aantal koeien is onmeetbaar klein, naast het feit dat de depositiegetallen geproduceerd door AERIUS/OPS zonder enige vorm van onzekerheid worden gepresenteerd. Een doodzonde.
De depositiegetallen zijn zo klein dat ze ruim binnen de modelonzekerheid liggen. Er kan met geen enkele zekerheid gesteld worden wat uiteindelijk de toegevoegde deposities feitelijk zijn.
Dat is geen nieuws; zie het tweede rapport van het bekende Adviescollege.
Refereren aan KDW, die als gevolg van een X aantal koeien ‘verder zouden worden overschreden’, is volstrekte nonsens.
Met een dergelijk argument worden én de KDW als absolute getallen beschouwd - nonsens 1 (zie ons recente KDW-artikel) - én de rekenresultaten als absolute getallen beschouwd - nonsens 2.
Punt 2 gaat over ‘skill’.
Ik zal meteen de clou weggeven: voor AERIUS/OPS is skill formeel nooit vastgesteld. Dus hebben we dat zelf maar gedaan. Eindresultaat: AERIUS/OPS heeft geen skill.
Even terug.
Een ‘geavanceerd’ model wordt skill toegekend als het in competitie met een simpeler model beter presteert in het voorspellen van nieuwe meetwaarden dan het simpeler model. Tenminste als beide modellen getest worden met scherpe, dat wil zeggen zinvolle, toetsingscriteria.
Skill toetsing wordt overal toegepast in de analyse van wetenschappelijke modellen zoals bijvoorbeeld in de meteorologie.
In de meteorologie is skill van modellen van levensbelang. Ga maar na: het nauwkeurig voorspellen van temperatuur, windsnelheden en neerslag, bijvoorbeeld, zijn heel belangrijk voor heel veel private en publieke sectoren.
Los van de vaststelling van skill, zijn de gebruikte toetsingscriteria voor AERIUS/OPS buitengewoon zwak, dat wil zeggen te ‘gemakkelijk’, waarmee AERIUS/OPS schijnbaar acceptabele resultaten lijkt te produceren.
In de context van skill leidt dat onder andere tot het feit dat een simpeler concurrerend model, dat alleen gemiddelden berekend, het vrijwel altijd wint van AERIUS/OPS met als gevolg dat AERIUS/OPS geen skill heeft.
Conclusie is dan ook dat AERIUS/OPS niet gebruikt zou mogen worden. Zoals we concluderen in onze paper (met nadruk):
“Previous verifications suffered substantially from using sub-par measures …, and there was no consideration of skill. A simple “mean model”, which always and everywhere predicts the mean of the observations easily beats the AERIUS/OPS using the accepted verification measures. By this alone, AERIUS/OPS needs to be shelved until it is improved.
The situation is worse for AERIUS/OPS because that mean model by itself is not known with certainty. This is because the mean at each geographic point of interest must first be known. If it is not known, or known only with significant uncertainty, then even the simple, and often superior, mean model is insufficient.”
Uiteraard kunnen we meer in detail gaan en wellicht onze conclusies aanscherpen als de onderliggende data (binnenkort) beschikbaar worden gesteld.
Hoe dat ook zij, AERIUS/OPS is onbruikbaar in zijn huidige wetenschappelijke, bestuurlijke en maatschappelijke rol en zal onmiddellijk moeten worden gecanceld.