2 mei 2004

Naar beleid dat bewezen heeft te werken

De effecten van beleid zijn vaak niet bekend. Ineffectief beleid kan veel geld kosten. Experimenten of beleid echt werkt, kunnen daarom veel geld besparen. Beleidsexperimenten worden in Nederland echter zelden uitgevoerd. Dit document wijst op nu nog onbenutte mogelijkheden.

Twee typen experimenten worden onderscheiden: gecontroleerde en natuurlijke experimenten. Bij een gecontroleerd experiment creëert een onderzoeker door toeval een experimentele groep en een controlegroep. De experimentele groep ondergaat een bepaalde interventie; de controlegroep ondergaat die interventie niet. Het verschil in resultaten tussen beide groepen kan alleen worden toegeschreven aan de interventie. Bij een natuurlijk experiment wordt de experimentele en de controlegroep gevormd door een toevallige situatie in de werkelijkheid, bijvoorbeeld door elementen uit regelgeving of populatieveranderingen.

Gecontroleerde experimenten stuiten in Nederland vaak op ethische bezwaren, voortkomend uit de ongelijke behandeling van personen. Daar staat tegenover dat alle toekomstige generaties kunnen profiteren van de kennis verworven in een gecontroleerd experiment. Het alternatief 'niet experimenteren' draagt het risico in zich dat ineffectief of zelfs schadelijk beleid wordt voortgezet. Gecontroleerde experimenten zijn al lange tijd bij de ontwikkeling van nieuwe geneesmiddelen gebruikelijk. Gecontroleerde experimenten kunnen op veel terreinen worden toegepast. Ze kunnen vooral voordelen opleveren bij 'slepende kwesties': dit zijn beleidsissues waar al lange tijd discussie bestaat over de effecten van beleidsinstrumenten. Voorbeelden hiervan zijn: financiële prikkels ter bevordering van de deelname aan technische studies, prikkels voor de reïntegratie van werklozen, R&D-subsidies of regels rond marktwerking en innovatie. Natuurlijke experimenten zijn een relatief goedkope bron van kennis over de effecten van beleid. Bijkomend voordeel is dat de resultaten beschikbaar komen op relatief korte termijn. Natuurlijke experimenten komen echter voort uit toevallige omstandigheden die zich niet op alle terreinen voordoen.

De vormgeving van beleid kan een eerste stap zijn voor de evaluatie van beleid. Tot dusver blijven verschillende mogelijkheden onbenut. In de eerste plaats zou meer gebruik gemaakt kunnen worden van het aselect toekennen van subsidies, bijvoorbeeld in situaties waarin de vraag naar subsidies groter is dan het budget. Door subsidies aselect toe te kennen wordt een experimentele en een controlegroep gevormd als basis voor een toekomstige evaluatie. Een andere mogelijkheid is het bewust inbouwen van discontinuïteiten in subsidieregelingen. In Nederland is bijvoorbeeld de afgelopen jaren extra geld voor personeel en computers toegekend aan scholen met minstens 70% achterstandsleerlingen. Scholen net beneden deze grens kregen geen extra subsidie. Een dergelijke knip in de regeling maakt een evaluatie mogelijk. Door scholen net rond de knip te vergelijken wordt een echt experiment nagebootst. Door vaker in regelingen zulke discontinuïteiten in te bouwen ontstaan mogelijkheden om de effecten van beleid vast te stellen. Een derde mogelijkheid doet zich voor bij  'pilots', die in Nederland regelmatig worden uitgevoerd. 'Pilots' hebben meestal geen controlegroep en verschillen daarmee van beleidsexperimenten. Het ontbreken van een controlegroep maakt het ook lastig om de effecten vast te stellen. Door bij 'pilots' systematisch aandacht te besteden aan het zoeken naar een aselecte controlegroep kan meer overtuigende 'evidence' worden verkregen.

Dit is een Engelstalige publicatie. CPB Document 48 is de Nederlandse versie van dit document.

Contactpersonen

Maarten Cornet Lees verder
Dinand Webbink Lees verder

Lees meer over