4 december 2007

On the optimality of expert-adjusted forecasts

Voorspellingen van instituten als het CPB zijn nooit puur gebaseerd op modeluitkomsten. Voorlopige uitkomsten worden bijgestuurd met informatie van buiten het model ('expert opinion').

Wat is het effect van deze bijsturingen op de kwaliteit van de ramingen? Kwaliteit is een breed begrip en kan dan ook op verschillende manieren worden gemeten. Wij hanteren een optimaliteitsmaatstaf. Een voorspelling is optimaal indien de voorspelling de best mogelijke schatting heeft opgeleverd gegeven de preferenties van de voorspeller en alle beschikbare informatie op het tijdstip van de raming.

De voorspeller heeft in deze analyse de rol van een beslisser die een verliesfunctie minimaliseert waarin de afwijking tussen toekomstige realisaties en ramingen wordt bestraft. Deze verliesfunctie is onbekend voor de modeluitkomsten en de gepubliceerde ramingen. De toetsen van Patton en Timmerman (2007) zijn speciaal ontwikkeld om in deze situaties de kwaliteit van de ramingen te kunnen beoordelen. In dit paper analyseren wij de kwaliteit van de CPB-ramingen voor zo'n tien variabelen voor zowel de oorspronkelijke modelramingen als voor de gepubliceerde bijgestuurde ramingen. Op basis van maatstaven voor trefzekerheid concluderen we dat de kwaliteit van de prognoses verbetert door het toevoegen van externe inzichten aan de modelraming. De optimaliteit blijkt voor beide ramingen nauwelijks te verschillen. De hypothese dat de voorspellingen niet optimaal zijn, wordt voor beide ramingen verworpen voor nagenoeg alle onderzochte economische grootheden.

Auteurs