Haalbaarheid (quasi-)experimentele evaluatie ESF-activiteiten

Dit is op 2 manieren gedaan. Ten eerste is bij de betrokken instanties (het Agentschap, de arbeidsmarktregio’s, UWV en ministerie van Veiligheid en Justitie) nagegaan of er mogelijkheden zijn om in de toekomst gerandomiseerde experimenten op te zetten voor evaluatie van met ESF-geld betaalde beleidsinstrumenten. Ten tweede is onderzocht of er mogelijkheden zijn voor een quasi-experimentele evaluatie achteraf van reeds bestaande ESF-beleidsinstrumenten. Dat laatste is gebeurd aan de hand van 2 belangrijke voorwaarden:

• De aanwezigheid van exogene variatie in het beleidsinstrument. Dit wil zeggen dat er geen selectie van deelnemers is in het beleidsinstrument op basis van niet-observeerbare kenmerken en dat er dus een valide controlegroep gevormd worden.
• Een voldoende grootte van de steekproefomvang. Daarbij is op basis van de in deze notitie gedane poweranalyses een minimum van 870 deelnemers gehanteerd.

Het antwoord op de eerste deelvraag is dat (quasi-)experimentele evaluatie slechts voor een deel van de met ESF-geld gefinancierde beleidsinstrumenten haalbaar lijkt. Het UWV onderschrijft het belang van experimentele evaluatie en is bereid de mogelijkheden voor experimenteel onderzoek te onderzoeken. Daarbij is het van belang dat een voldoende grote steekproefomvang wordt gekozen en dat het experiment zorgvuldig wordt opgezet. Het gaat immers om een kwetsbare doelgroep (Wajongers) die vaak een relatief grote afstand tot de arbeidsmarkt kent. Het onthouden van beleidsinstrumenten in het kader van een experiment kan om die reden gevoelig liggen. Een manier om dit op te lossen is om in plaats van onthouding, een kandidaat altijd wel een (gepast) instrument aan te bieden, maar door loting te laten bepalen welk (gepast) instrument dat moet zijn. In dat geval kan de effectiviteit van de verschillende instrumenten tegen elkaar worden afgezet.

Bij de overige instanties lijkt (quasi-)experimenteel onderzoek niet haalbaar.

Bij de arbeidsmarktregio’s, het ministerie van Veiligheid en Justitie en op het terrein van Duurzame Inzetbaarheid lijken er op dit moment geen mogelijkheden te zijn om in de nabije toekomst gerandomiseerde experimenten uit te voeren. Quasi-experimenten met bestaand beleid lijken ook niet kansrijk. De belangrijkste reden hiervoor is het gebrek aan of de afwezigheid van exogene variatie in de beleidsinstrumenten. De andere reden is de steekproefomvang. Bij sommige beleidsinstrumenten bij de arbeidsmarktregio’s lijkt er potentieel te zijn voor een quasi-experimentele evaluatie, maar blijkt de steekproefomvang te klein voor een betrouwbare effectevaluatie. Het aantal deelnemers bij deze instrumenten ligt onder het in deze notitie gehanteerde minimum. Dit laat overigens onverlet dat buiten het onderzochte ESF-terrein effectiviteitsonderzoek bij arbeidsmarktregio’s wel mogelijk kan zijn.

Het antwoord op de tweede deelvraag houdt verband met die op de eerste. Aangezien maar een deel van de met ESF-geld gefinancierde beleidsinstrumenten (quasi-) experimenteel te evalueren lijkt (namelijk bij UWV), is het niet mogelijk de netto inzet van ESF-middelen in zijn geheel op een quasi-experimentele manier te evalueren. De totale som van ESF-middelen bestaat immers uit een groot aantal onderdelen. Het evalueren van de middelen als geheel is daarom niet mogelijk.

Het feit dat dit niet mogelijk is wil overigens niet zeggen dat er geen kennis voorhanden is over de met ESF-subsidie gefinancierde beleidsinstrumenten. Evenmin betekent dit dat evaluatie met andere technieken niet mogelijk is. Metastudies over actief arbeidsmarktbeleid, zoals die van Card et al. (2015) en van het CPB (Kansrijk Arbeidsmarktbeleid, deel 2, 2016) geven indicaties over welke instrumenten voor welke doelgroep effectief zijn. Daarnaast kan ook met niet-(quasi-)experimentele technieken en methoden onderzoek worden gedaan. Deze notitie betreft immers alleen een haalbaarheidsadvies over het doen van (quasi-)experimenteel onderzoek.