De Algemene Rekenkamer heeft in 1999 een rijksbreed vergelijkend onderzoek gedaan naar de organisatie van het beleidsevaluatieonderzoek bij de afzonderlijke ministeries, in het bijzonder de betrokkenheid daarbij van de centrale directies Financieel-economische Zaken (FEZ). De Rekenkamer is van mening dat de organisatie van het beleidsevaluatieonderzoek moet worden verbeterd. Zij signaleert het risico dat het beleid binnen de voorgeschreven termijn van vijf jaar niet volledig wordt afgedekt met beleidsevaluaties. Bovendien is de Rekenkamer bezorgd over het feit dat er onvoldoende monitoring is als het gaat om de methodisch-technische kwaliteit van het beleidsevaluatieonderzoek, en om de mate waarin de resultaten daarvan daadwerkelijk worden gebruikt in de begrotings- en beleidscyclus. In de Comptabiliteitswet is vastgelegd dat de afzonderlijke ministeries de doelmatigheid van hun beheer, organisatie en beleid periodiek dienen te onderzoeken. In het Handboek Financiële Informatie en Administratie (Hafir) is voorts vastgelegd dat de directies FEZ, vanwege hun centrale, onafhankelijke positie in de organisatie, het evaluatieonderzoek dienen te stimuleren en coördineren. De Rekenkamer heeft de Comptabiliteitswet en Hafir als uitgangspunt genomen voor de normen in haar onderzoek. Bij ieder ministerie is beoordeeld in hoeverre de directie FEZ invulling geeft aan haar coördinerende en stimulerende taak. De Rekenkamer heeft vastgesteld dat de directies FEZ van de meeste ministeries geen inzicht hadden in de mate waarin de ministeries voldeden aan het voorschrift om periodiek (eens in de vijf jaar) alle beleid te evalueren. Afdekking van beleidsterreinen met evaluatieonderzoek werd niet of op onvoldoende detailniveau gemonitord. De Rekenkamer beveelt aan op korte termijn een plan van aanpak te maken voor de monitoring van de afdekking van beleidsterreinen met evaluatieonderzoek. De Rekenkamer heeft voorts vastgesteld dat de meeste directies FEZ geen inzicht hadden in de vraag of de kwaliteit van evaluatieonderzoek voldoende was gewaarborgd. Daardoor bestaat het risico dat kwalitatief ontoereikende evaluaties worden gebruikt. Met het oog op de toekomstige verantwoording in het kader van «Van beleidsbegroting tot beleidsverantwoording» (VBTB), waarbij evaluatieonderzoek belangrijke gegevens verschaft, is dit ongewenst. De Rekenkamer vindt dat de directies FEZ beter toezicht moeten houden op de opzet en werking van de kwaliteitswaarborgen voor het beleidsevaluatieonderzoek. Wat het gebruik van onderzoeksresultaten bij de begrotingscyclus betreft concludeert de Rekenkamer dat het toezicht daarop door de directies FEZ relatief goed wordt nageleefd. Niettemin is er bij een aantal departementen ruimte voor verbetering. De Rekenkamer beveelt aan dat die directies FEZ waar verbetering nodig is, het gebruik van resultaten van evaluaties beter waarborgen. Zij denkt daarbij bijvoorbeeld aan een instrument om de werking van de waarborgen voor gebruik (steekproefsgewijs) te monitoren. Geen van de ministeries voldeed strikt aan de Hafir-norm dat de directies FEZ moeten beoordelen of resultaten van onderzoek gemeld zouden moeten worden aan de politieke top. Wel waren er ministeries waar een relatief onafhankelijke partij, zoals de Bestuursraad, deze beoordeling uitvoerde. De Rekenkamer beveelt aan dat de ministeries die op dit punt in gebreke blijven alsnog waarborgen dat dergelijke besluiten worden genomen door een van de beleidsdirecties onafhankelijk organisatieonderdeel. De meeste directies FEZ bleken onvoldoende te kunnen aangeven of binnen hun ministerie nieuw beleid ex ante geëvalueerd werd, of dat op grond van een zorgvuldige afweging was besloten geen ex-anteonderzoek uit te voeren. De Rekenkamer beveelt daarom aan dat de departementen deze afweging verplicht stellen bij nieuw of gewijzigd beleid. De directies FEZ kunnen de controle op de toepassing van ex-ante-evaluaties uitoefenen op basis van de melding van nieuw of gewijzigd beleid (waarbij onderbouwd afzien van ex ante onderzoek ook tot de mogelijkheden behoort). De directies FEZ dienen ervoor te zorgen dat zij ook op de hoogte zijn van nieuw of gewijzigd beleid zonder financiële consequenties. De meeste directies FEZ bleken niet structureel aandacht te hebben voor een samenhangende inzet van beleidsevaluatie-instrumenten. De Rekenkamer beveelt aan dat de directies FEZ van de departementen hieraan veel meer aandacht besteden. De relatie tussen kengetallen, organisatiedoorlichtingen en evaluaties zou volgens de Rekenkamer extra aandacht moeten krijgen, omdat deze instrumenten elkaar aanvullen. Het totaalbeeld van de invulling van de evaluatiefunctie door de directies FEZ laat grote verschillen tussen de ministeries zien. Zo is de invulling bij het Ministerie van Defensie en Buitenlandse Zaken (BuiZa) relatief goed te noemen. Bij de Ministeries van Binnenlandse Zaken en Koninkrijksrelaties (BZK), Volksgezondheid, Welzijn en Sport (VWS), Volkshuisvesting, Ruimtelijke Ordening en Milieu (VROM) en Verkeer en Waterstaat (V&W) is relatief veel werk te doen. De minister van Financiën heeft een gecoördineerde reactie op de rijksbrede aspecten van het onderzoek gegeven. De overige ministers hebben aanvullend elk een individuele reactie gegeven. Alleen de minister van BZK heeft zich niet aangesloten bij de gecoördineerde reactie. Hij is van mening dat het normenkader van het onderzoek een gemeenschappelijke basis ontbeert, door de nadere invulling die de Rekenkamer heeft gegeven aan de bestaande regelgeving. De regelgeving aangaande de taken van de directie FEZ voor de evaluatiefunctie wenst de minister slechts beperkt in te vullen. De Rekenkamer vindt de invulling die de minister van BZK geeft aan de evaluatiefuctie onvoldoende en zij betreurt het dat de minister van BZK deze beperking als enige toepast. De Rekenkamer ziet ook bij het ministerie van BZK voldoende mogelijkheden voor invulling van de taken van de directie FEZ op dit punt. De minister van Financiën erkent in zijn reactie dat een deel van de thans gestelde normatiek in bestaande regelgeving onvoldoende duidelijk is. Hij doet hiervoor toezeggingen ter verbetering. Het Ministerie van Financiën stelt dat de voorstellen die gemaakt zijn in het kader van het VBTB-traject een handvat lijken te bieden voor een nadere concretisering van de norm over afdekking van beleid met evaluaties. De Rekenkamer ziet hierin goede aanknopingspunten. Zij benadrukt het belang van een voldoende detaillering van de beleidsterreinen om te komen tot een zinvol beeld van de afdekking. De minister van Financiën is het in zijn gecoördineerde reactie met de Rekenkamer eens dat de kwaliteitseisen voor ex-ante-evaluatieonderzoek ook behoren te gelden voor ex-post-evaluatieonderzoek. Hij wil de kwaliteit en het gebruik van evaluatieonderzoek bevorderen door te leren van elkaars sterke punten en zegde toe dit te faciliteren in de Interdepartementale Begeleidingsgroep Prestatiegegevens en beleidsevaluatieonderzoek. De Rekenkamer constateert met instemming dat de meeste ministeries het belang van goede waarborgen voor kwaliteit en gebruik van evaluatieonderzoek inzien en op dit gebied ook acties gaan ondernemen. De Minister van Financiën vindt het Rekenkameronderzoek een extra impuls voor ex-ante-evaluatieonderzoek, dat in veel gevallen een onmisbare schakel vormt in het afwegen van alternatieve beleidsmaatregelen. Hij wil het begrippenkader terzake verduidelijken. De ministers van Justitie, BuiZa, Onderwijs, Cultuur en Wetenschappen (OCenW) en VWS zien geen toegevoegde waarde in een verplichte afweging om ex-ante-onderzoek uit te voeren bij nieuw of gewijzigd beleid. De ministers van Justitie en BuiZa geven aan dat behalve ex-ante-evaluaties ook andere instrumenten een waardevolle bijdrage kunnen leveren aan de kwaliteit van nieuw beleid. Ook de Rekenkamer is vanzelfsprekend van mening dat een verplichte afweging geen ritueel of louter administratieve handeling moet zijn. Zij vindt ex-ante-onderzoek echter een dermate belangrijk instrument ter waarborging van de kwaliteit van beleidsvoorbereiding dat een verplichte afweging van de keuze voor dit instrument noodzakelijk is. De Rekenkamer voelt zich gesteund in haar constatering dat de optimale mix nadere operationalisering behoeft. Zij is verheugd dat dit in interdepartementaal verband nader uitgewerkt gaat worden. Een werkbare definitie van het begrip optimale mix vormt een belangrijke basis voor een doelmatiger inzet van evaluatie-instrumenten voor het evalueren van overheidsbeleid. Verder signaleert de minister van Financiën dat de normen geïnterpreteerd zouden kunnen worden als een verplicht voorgeschreven «zware inhoudelijke regierol» van de directie FEZ. De Rekenkamer is het met de minister van Financiën eens dat niet alle taken bij de directie FEZ gelocaliseerd hoeven te zijn. Dit laat naar haar oordeel onverlet dat indien sprake is van uitvoering door andere actoren er voldoende waarborgen moeten zijn dat de directies FEZ de eindverantwoordelijkheid voor taken uit hoofde van de evaluatiefunctie kunnen blijven dragen. In antwoord op een opmerking van diverse ministers wil de Rekenkamer benadrukken dat haar onderzoek zich alleen gericht heeft op de invulling van de taken die de directies FEZ hebben en dat hieruit derhalve geen conclusies te trekken zijn over de kwaliteit van de evaluatieonderzoeken zelf. (Author/publisher)
Samenvatting