Naar een betere onderwijsranking

Internationale onderwijsrankings worden periodiek uitgevoerd om de cognitieve vaardigheden, zoals rekenen en lezen, van leerlingen tussen landen te kunnen vergelijken en over de tijd te kunnen volgen. De meest bekende variant is het Programme for International Student Assessment (PISA), dat zich richt op het voortgezet onderwijs. De trend die Nederland laat zien, is niet bijster positief. Op nagenoeg alle lijstjes scoort Nederland de afgelopen jaren slechter dan ongeveer twintig jaar geleden. Bijvoorbeeld bij PISA-wiskunde noteerde Nederland in 2018 een score van 519 punten, terwijl de score in 2003 nog 538 punten bedroeg. Bij PISA-lezen duikelde Nederland uit de top-10: waar we in 2003 nog op een mooie achtste positie stonden, zijn we inmiddels verworden tot een grijze middenmoter op de 21e plek.

Zorgen over de dalende trend

Omdat goed onderwijs wordt gezien als het fundament onder onze economie maken politici en beleidsmakers zich zorgen over deze dalende trend. De logische reactie is dan ook snel: tijd voor actie! Je ziet ook in de literatuur dat onderwijsrankings een grote invloed hebben op beleid. Een sterke beleidsreactie op een onverwacht slechte uitkomst wordt ook wel de ‘PISA-shock’ genoemd. Maar hoe betrouwbaar zijn dergelijke onderwijsrankings eigenlijk? In hoeverre is het een goede graadmeter voor onderwijskwaliteit? Deze vraag heb ik samen met mijn collega’s Annikka Lemmens en Marielle Non geprobeerd te beantwoorden in een recente CPB-publicatie.

Om te beginnen, internationale onderwijsrankings meten niet alles wat onderwijs waardevol maakt. De nadruk van dit soort onderzoek ligt op de cognitieve vaardigheden op het gebied van wiskunde, lezen en natuurwetenschappen. Andere belangrijke vaardigheden, zoals bijvoorbeeld creativiteit, samenwerken en communiceren, blijven grotendeels buiten beeld. Het is daardoor niet mogelijk om op basis van enkele cijfers over cognitieve vaardigheden uitspraken te doen over de kwaliteit van het onderwijs in generieke zin – hoe verleidelijk dat ook mag zijn.

Veranderd speelveld

Ook is het goed om te kijken of een daling op de internationale onderwijsranking wordt veroorzaakt door verslechterde prestaties of door een veranderd speelveld. De set van landen die deelneemt aan het onderzoek is namelijk niet ieder jaar hetzelfde. Je zou een plekje op de onderwijsranking kunnen zakken wanneer een top-presterend land ineens besluit deel te nemen aan het onderzoek. Het is dus alsof Ajax en PSV minder vaak kampioen worden als Real Madrid toetreedt tot de Eredivisie. De daling op de ranglijst zegt dan meer over de verhoogde concurrentie dan over de voetballende kwaliteiten van de Nederlandse clubs. We kunnen hiervoor corrigeren door rankings te maken op basis van een beperkte set landen die alle jaren hebben deelgenomen. Je ziet in veel gevallen dat Nederland dan nog steeds daalt in de ranglijst, maar minder sterk dan je op basis van de totale ranking zou zeggen.

Het wordt ingewikkelder wanneer we de betrouwbaarheid van de gerapporteerde scores in twijfel trekken. Er zijn namelijk tal van factoren die het lastig maken om cognitieve vaardigheden te vangen in één getal dat tussen landen en over de tijd goed vergelijkbaar is. Zo wordt bijvoorbeeld ieder jaar een andere toetsversie afgenomen, waardoor de moeilijkheidsgraad per jaar kan verschillen. Daarnaast kan de representativiteit van de steekproef over de tijd verschillen omdat scholen niet verplicht zijn om deel te nemen aan het onderzoek. 

Voorzorgsmaatregelen en verbeterpunten

Een ander voorbeeld van een complicerende factor is motivatie. Omdat de uitkomsten van het onderzoek niet meetellen voor hun rapportcijfer, kan de motivatie waarmee leerlingen de toets maken cultureel bepaald zijn. Gelukkig nemen de uitvoerende organisaties achter de internationale onderwijsrankings veel voorzorgsmaatregelen om de complicerende factoren zo goed mogelijk te ondervangen. Uit de literatuur blijkt echter dat de complicaties wel worden verzacht, maar niet volledig worden weggenomen. Een daling of stijging in de score betekent dus niet altijd per se dat de onderwijskwaliteit is veranderd.

In onze studie doen we een aantal suggesties om de internationale onderwijsrankings transparanter en bruikbaarder te maken voor de toekomst. Het zou bijvoorbeeld goed zijn als de uitslagen van individuele leerlingen bij het internationale onderzoek kunnen worden gelinkt aan de uitslagen van diezelfde leerlingen bij een nationale toets. Op die manier kan de representativiteit van de internationale steekproef beter worden onderzocht.

De nieuwste PISA-resultaten zouden dit jaar uitkomen, maar dat moment is verplaatst naar volgend jaar in verband met de pandemie. Veel beleidsmakers en onderzoeksinstituten zullen desalniettemin reikhalzend uitkijken naar deze nieuwe cijfers. Weet Nederland zich enigszins te herstellen van de matige leesprestaties in 2018? Of krijgen we te maken met een ware PISA-shock als we bevestigd zien dat deze negatieve uitschieter geen incident was? We hopen in ieder geval dat ons onderzoek eraan zal bijdragen om de nieuwste resultaten in perspectief te plaatsen.

En hoe het afliep met die tijger? Tsja, de clou van een goed verhaal moet je natuurlijk niet verklappen.

Paul Verstraten