Lerend beleid: het versterken van beleid door experimenteren en evalueren
Beleidsexperimenten: Nederland laat mogelijkheden onbenut om te leren over effecten van beleid
Over de effecten van beleid is nu vaak weinig bekend, omdat niet precies duidelijk is wat gebeurd zou zijn indien het desbetreffende beleid niet zou zijn gevoerd. Dit geldt zowel voor al lang lopend beleid, als voor nieuw beleid. Kennis van deze effecten is echter zeer belangrijk, omdat de kosten van ineffectief beleid zeer hoog kunnen zijn.
Nederland kan door middel van beleidsexperimenten meer leren over de effecten van beleid. De mogelijkheden hiertoe worden nog te weinig benut. De baten van beleidsexperimenten kunnen dan ook heel groot zijn.
Dit concluderen Maarten Cornet en Dinand Webbink in het vandaag verschenen CPB Document 'Lerend beleid: het versterken van beleid door experimenteren en evalueren'. De CPB-onderzoekers hebben de kansen en mogelijkheden van beleidsexperimenten onderzocht.
Er zijn twee soorten beleidsexperimenten mogelijk: gecontroleerde en natuurlijke.
Bij gecontroleerde beleidsexperimenten worden personen, bedrijven, regio's etc. via loting in een experimentele groep of in een controlegroep ingedeeld. Een dergelijke loting stuit in Nederland vaak op ethische bezwaren, vanwege de ongelijke behandeling van deelnemers. Niet experimenteren draagt echter het risico in zich van voortzetting van ineffectief of zelfs contraproductief beleid, ten koste van het welzijn van huidige en toekomstige generaties.
Gecontroleerde experimenten zijn op veel terreinen toepasbaar. Ze liggen vooral voor de hand bij 'slepende kwesties'. Dit zijn beleidsterreinen waar al lange tijd discussie bestaat over de effectiviteit van het gevoerde beleid. Voorbeelden hiervan zijn: financiële prikkels ter bevordering van de deelname aan technische studies, prikkels voor de reïntegratie van werklozen en subsidies voor R&D bij bedrijven.
Natuurlijke beleidsexperimenten vormen een alternatief voor gecontroleerde beleidsexperimenten. In dit geval leidt een toevallige 'knip' in het beleid tot een experimentele groep en een controlegroep. Een voorbeeld hiervan is de zogenoemde 70%-regeling in het onderwijs. Scholen met minstens 70% achterstandsleerlingen hebben de afgelopen jaren extra budget voor personeel en computers ontvangen; scholen beneden deze grens kregen geen extra subsidie. Door de scholen net boven de knip van 70% te vergelijken met die net onder de knip kan het effect van deze regeling worden vastgesteld.
Voor een goede evaluatie achteraf is de manier waarop het beleid vorm krijgt van groot belang. Subsidietoekenning zou deels op basis van toeval (aselect) kunnen plaatsvinden, bijvoorbeeld in situaties waarin toch al niet duidelijk is waarom het ene project wel en het andere project niet gesubsidieerd zou moeten worden. Zo vormen zich vanzelf een experimentele groep en een controlegroep die als basis voor toekomstige evaluatie dienen. Een andere mogelijkheid is het bewust inbouwen van 'knippen' in subsidieregelingen. Tot dusver blijven deze mogelijkheden bij de vormgeving van het beleid vaak onbenut.
In Nederland worden wel regelmatig proefprojecten met beleid uitgevoerd (zogenaamde 'pilots'). 'Pilots' hebben echter geen controlegroep en verschillen daarmee van beleidsexperimenten. Het vaststellen van de effecten van beleid is lastig zonder controlegroep, omdat men niet weet wat er zonder het beleid gebeurd zou zijn. De overtuigingskracht van de uitkomsten van 'pilots' valt dan ook te vergroten door systematisch een controlegroep te vormen.
Lees ook het bijbehorende persbericht.
Twee typen experimenten worden onderscheiden: gecontroleerde en natuurlijke experimenten. Bij een gecontroleerd experiment creëert een onderzoeker door toeval een experimentele groep en een controlegroep. De experimentele groep ondergaat een bepaalde interventie; de controlegroep ondergaat die interventie niet. Het verschil in resultaten tussen beide groepen kan alleen worden toegeschreven aan de interventie. Bij een natuurlijk experiment wordt de experimentele en de controlegroep gevormd door een toevallige situatie in de werkelijkheid, bijvoorbeeld door elementen uit regelgeving of populatieveranderingen.
Gecontroleerde experimenten stuiten in Nederland vaak op ethische bezwaren, voortkomend uit de ongelijke behandeling van personen. Daar staat tegenover dat alle toekomstige generaties kunnen profiteren van de kennis verworven in een gecontroleerd experiment. Het alternatief 'niet experimenteren' draagt het risico in zich dat ineffectief of zelfs schadelijk beleid wordt voortgezet. Gecontroleerde experimenten zijn al lange tijd bij de ontwikkeling van nieuwe geneesmiddelen gebruikelijk. Gecontroleerde experimenten kunnen op veel terreinen worden toegepast. Ze kunnen vooral voordelen opleveren bij 'slepende kwesties': dit zijn beleidsissues waar al lange tijd discussie bestaat over de effecten van beleidsinstrumenten. Voorbeelden hiervan zijn: financiële prikkels ter bevordering van de deelname aan technische studies, prikkels voor de reïntegratie van werklozen, R&D-subsidies of regels rond marktwerking en innovatie. Natuurlijke experimenten zijn een relatief goedkope bron van kennis over de effecten van beleid. Bijkomend voordeel is dat de resultaten beschikbaar komen op relatief korte termijn. Natuurlijke experimenten komen echter voort uit toevallige omstandigheden die zich niet op alle terreinen voordoen.
De vormgeving van beleid kan een eerste stap zijn voor de evaluatie van beleid. Tot dusver blijven verschillende mogelijkheden onbenut. In de eerste plaats zou meer gebruik gemaakt kunnen worden van het aselect toekennen van subsidies, bijvoorbeeld in situaties waarin de vraag naar subsidies groter is dan het budget. Door subsidies aselect toe te kennen wordt een experimentele en een controlegroep gevormd als basis voor een toekomstige evaluatie. Een andere mogelijkheid is het bewust inbouwen van discontinuïteiten in subsidieregelingen. In Nederland is bijvoorbeeld de afgelopen jaren extra geld voor personeel en computers toegekend aan scholen met minstens 70% achterstandsleerlingen. Scholen net beneden deze grens kregen geen extra subsidie. Een dergelijke knip in de regeling maakt een evaluatie mogelijk. Door scholen net rond de knip te vergelijken wordt een echt experiment nagebootst. Door vaker in regelingen zulke discontinuïteiten in te bouwen ontstaan mogelijkheden om de effecten van beleid vast te stellen. Een derde mogelijkheid doet zich voor bij 'pilots', die in Nederland regelmatig worden uitgevoerd. 'Pilots' hebben meestal geen controlegroep en verschillen daarmee van beleidsexperimenten. Het ontbreken van een controlegroep maakt het ook lastig om de effecten vast te stellen. Door bij 'pilots' systematisch aandacht te besteden aan het zoeken naar een aselecte controlegroep kan meer overtuigende 'evidence' worden verkregen.
Downloads
