Bruikbaarheid van indicatoren
Onderzoeksopzet
Samenvatting
In dit document beschrijft de Rekenkamer Amsterdam de opzet van haar onderzoek naar de bruikbaarheid van indicatoren.
De gemeente Amsterdam geeft met een zogenoemde 'doelenboom' inzicht in de mate waarin activiteiten zijn uitgevoerd en nagestreefde doelen zijn bereikt. Met dit onderzoek willen we inzicht geven in de mate waarin de indicatoren die de gemeente Amsterdam hiervoor gebruikt, ook daadwerkelijk bruikbaar zijn. De centrale onderzoeksvraag voor dit onderzoek luidt als volgt:
Bieden de indicatoren uit de doelenboom een bruikbaar
inzicht in de activiteiten en doelen van de gemeente
Amsterdam?
Voor de beantwoording van deze onderzoeksvraag hanteren we de volgende deelvragen:
- Is de indicator goed geformuleerd?
- Is de indicator betrouwbaar?
- Is de indicator relevant?
- Is de indicator begrijpelijk?
In dit onderzoek richten we ons allereerst op vijf afzonderlijke indicatoren uit de doelenboom. Voor elke indicator voeren we een deelonderzoek uit. Elk deelonderzoek mondt uit in een beknopt onderzoeksrapport en kleine publieksvriendelijke publicatie. Na afronding van alle deelonderzoeken zullen we de gedane bevindingen in samenhang beschouwen. Ook zullen we enkele afsluitende onderzoekswerkzaamheden verrichten om in bredere zin de bruikbaarheid van indicatoren in de begroting te beoordelen. Daarna brengen we een afsluitende (bestuurlijke) rapportage uit. Wij verwachten deze afsluitende rapportage in februari 2020 te publiceren.
Aanleiding en onderzoeksvraag
Inleiding
Dit is de onderzoeksopzet voor het onderzoek van de Rekenkamer Amsterdam naar de bruikbaarheid van indicatoren. Met dit onderzoek willen we inzicht geven in de mate waarin de indicatoren die de gemeente Amsterdam gebruikt om informatie over haar prestaties en bereikte doelen te geven, ook daadwerkelijk bruikbaar zijn. Het gaat om een onderzoek dat bestaat uit een serie kleine onderzoeken die gedurende het jaar zullen worden gepubliceerd en dat wordt afgesloten met een overkoepelende rapportage.
Hierna wordt eerst ingegaan op de aanleiding voor het onderzoek. Vervolgens beschrijven we de afbakening van dit onderzoek en de centrale onderzoeksvraag. Daarna volgen de deelvragen en het normenkader dat wij gebruiken voor de beantwoording van de centrale onderzoeksvraag.
Aanleiding onderzoek
Met de invoering van de dualisering van het gemeentebestuur in 2002 ontstond de verplichting voor Nederlandse gemeenten om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. Dit moet bijdragen aan het uitvoeren van de kaderstellende en controlerende rol van de gemeenteraad zoals die volgt uit de dualisering.
Meer precies werd met de inwerkingtreding van het Besluit begroten en verantwoorden (BBV) in 2003 gevraagd om informatie per programma over de doelen die worden nagestreefd. Concreet gaat het om de drie zogenoemde ‘w’ vragen: wat willen we bereiken, wat gaan we daarvoor doen en wat mag het kosten? Meer recent, in 2016, is ook voorgeschreven dat voor het beantwoorden van deze vragen gemeenten tenminste gebruikmaken van een verzameling verplichte indicatoren. Het idee daarbij was dat het gebruik van deze indicatoren niet alleen bijdraagt aan het inzicht van de gemeenteraad, maar ook gemeenten beter onderling vergelijkbaar maakt. Deze verplichte indicatoren mogen desgewenst door gemeenten worden aangevuld met andere, door hen zelf geformuleerde, indicatoren.
In de jaarstukken van de gemeente Amsterdam wordt inzicht gegeven in wat het college wil bereiken, welke activiteiten daarvoor worden (of zijn) ontplooid en wat de bereikte of verwachte voortgang is: de resultaten. Hiermee geeft de gemeente invulling aan de verplichting om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. Hiervoor wordt al enige tijd gebruikgemaakt van een zogenoemde doelenboom. In de doelenboom wordt het geheel van doelen, activiteiten en indicatoren voor behaalde resultaten per programmaonderdeel weergegeven. Dit moet een gekwantificeerd inzicht verschaffen in de voortgang bij de uitvoering van het gemeentelijk beleid.
De wijze waarop de gemeente uitvoering geeft aan de verplichting om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid, is al eerder onderwerp van onderzoek geweest. Zo heeft de rekenkamer in een van haar eerste onderzoeken op verzoek van de gemeenteraad de kwaliteit van de in de begroting opgenomen doelen beoordeeld (Meetbaarheid gemeten, 2006).
Afgezien van latere actualisaties van dit eerste onderzoek (bijvoorbeeld het vervolgonderzoek Meetbaarheid gemeten uit 2007 en het onderzoek Meetbaarheid van het jaarverslag 2007 uit 2008) is dit onderwerp in het onderzoek Informatiewaarde van de begroting in 2013 opnieuw diepgaand onderzocht. Ook dit onderzoek is later nog een keer uitgebreid (Verdieping informatiewaarde van de begroting, 2014). De rode draad uit de conclusies van deze onderzoeken is dat er een voorzichtige opgaande lijn zichtbaar is in het gebruik van indicatoren. Tegelijkertijd worden telkens de nodige tekortkomingen gesignaleerd. Zo werd gewezen op de noodzaak doelstellingen beter te formuleren, goed onderscheid te maken tussen effect- en prestatie-indicatoren en het duidelijk te maken wat de streefwaarden zijn. Verder werd gepleit voor het zorgen voor een goede aansluiting op de ambities van het college en er tegelijkertijd voor te zorgen dat de reguliere activiteiten van de gemeente niet onderbelicht zijn.
Ook de gemeenteraad heeft zich op verschillende momenten uitgesproken of vragen gesteld over de kwaliteit van het gebruik van indicatoren in de begroting en de jaarrekening van de gemeente Amsterdam. Zoals hiervoor al gesteld, was een verzoek van de gemeenteraad uit 2006 de aanleiding voor het eerste onderzoek van de rekenkamer naar dit onderwerp. In 2010 deed gemeenteraad een oproep aan het college om een beter leesbare begroting te maken. Daarbij werd nadrukkelijk ook de wens uitgesproken om meetbare en valideerbare indicatoren te formuleren. Deze wens werd kort daarop opnieuw herhaald.
Meer recent is ook in aanbevelingen die zijn gedaan door de zogenoemde 'Duisenberg rapporteurs' aandacht gevraagd voor de kwaliteit van indicatoren. Zo werd er bij de rapportage over het jaarverslag 2016 en de begroting 2018 onder meer aanbevolen dat de rapportage over doelen, activiteiten en indicatoren transparanter, logischer en daarmee ook begrijpelijker kan. De formuleringen van doelen, activiteiten en bijbehorende indicatoren moesten scherper en beter op elkaar aansluiten. Streefwaarden moesten beter worden gemotiveerd en toegelicht en duidelijk moest zijn welke definitie is gebruikt. Tot slot was een terugkerende wens dat de doelen en activiteiten duidelijk gekoppeld zijn aan de inzet van financiële middelen.
Met het aantreden van het nieuwe college in 2018 is ook de doelenboom vernieuwd. Dit roept de vraag op of de nieuwe doelenboom een helder, relevant en bruikbaar inzicht oplevert.
Afbakening en centrale onderzoeksvraag
In dit onderzoek richten wij ons op de bruikbaarheid van indicatoren zoals die zijn opgenomen in de doelenboom van de begroting van de gemeente Amsterdam. Onder bruikbaarheid verstaan we niet alleen dat indicatoren correct zijn geformuleerd en ingevuld. Het gaat om meer dan alleen maar meten en tellen. Een bruikbare indicator moet ook betrouwbaar, relevant en begrijpelijk zijn. Een goede indicator geeft een accuraat inzicht in de essentie van gemeentelijke activiteiten en doelen en is eenvoudig te interpreteren. In dit onderzoek ligt daarom de nadruk op het diepgaand onderzoeken van de bruikbaarheid van een aantal individuele indicatoren. Dat neemt niet weg dat we uiteindelijk ook in bredere zin de bruikbaarheid van de indicatoren uit de begroting zullen beschouwen. Daarbij verwachten wij ook in te gaan op de toegevoegde waarde van de huidige principes voor het beschrijven van activiteiten en doelen met indicatoren (zoals de SMART-systematiek).
Met een individuele indicator bedoelen we de definitie en de daarbij gepresenteerde kwantitatieve informatie over peilwaarde, realisatie en streefwaarden. Een indicator bevat daarmee meer dan alleen kwantitatieve informatie over de gerealiseerde activiteiten en doelen. Met een duidelijke definitie en informatie over peilwaarde en streefwaarden wordt essentiële informatie gegeven om de resultaten te kunnen duiden. Ook die informatie zullen we bij onze beoordeling betrekken.
De doelenboom bevat zowel indicatoren voor activiteiten als voor doelen. Beide soorten indicatoren kunnen onderwerp van onderzoek zijn.
De onderzoeksvraag voor dit onderzoek luidt als volgt:
Bieden de indicatoren uit de doelenboom een bruikbaar
inzicht in de activiteiten en doelen van de gemeente
Amsterdam?
We kijken daarbij niet alleen of de doelenboom een bruikbaar inzicht oplevert voor raadsleden en professionals, maar ook in hoeverre deze informatie bruikbaar is voor geïnteresseerde burgers.
Deelvragen en normenkader
Voor de beantwoording van deze onderzoeksvraag beoordelen we eerst de omschrijving van de indicatoren. Daarbij is het de vraag of een indicator zich leent voor het meten van resultaten. Vervolgens bekijken we of de indicator voorzien is van kwantitatieve informatie over realisatie, streefwaarden en de peilwaarde.
Het tweede aspect is de betrouwbaarheid van de indicator. Allereerst gaat het daarbij om de vraag of de gepresenteerde cijfers juist en volledig zijn en ontleend aan een betrouwbare bron. Daarnaast is ook de kwaliteit van de peilwaarde belangrijk voor de betrouwbaarheid van een indicator. Een goed gekozen peilwaarde is noodzakelijk voor een realistisch perspectief op de ambitie en de gerapporteerde resultaten. Tot slot onderzoeken we of bij de invulling van de indicator sprake is van een consistent toegepaste definitie. Immers, pas als de definitie van de beschreven indicator spoort met de gepresenteerde waarden voor realisatie, streefwaarden en peilwaarde, is een betekenisvolle interpretatie mogelijk.
Ten derde gaan we na of de indicator relevant is. Het is de bedoeling dat een indicator een goed beeld geeft van de uitvoering van een activiteit of de realisatie van een doel. Een indicator die niet de essentie van deze activiteit (of het nagestreefde doel) raakt, mist relevantie. Daarnaast beoordelen we de samenhang met andere onderdelen van het beleid. Een indicator is alleen relevant als het ook past bij bovenliggende beleidsdoelen. Pas dan kan de indicator waarmee de activiteit of het doel wordt beschreven worden gebruikt om ontwikkelingen in de bovenliggende beleidsdoelen te verklaren en te duiden.
Het vierde (en laatste) aspect dat we beoordelen in dit onderzoek is of de indicator in samenspel met de omliggende tekst voldoende begrijpelijk is. We zullen beoordelen of uit de omliggende teksten duidelijk wordt wat het belang is van de indicator, welke betekenis de weergegeven waarden hebben, waarom is gekozen voor de gehanteerde streefwaarden en hoeveel geld er mee gemoeid is. Tot slot zullen wij de Toelichting: SMART-C, bruikbaarheid van beleidsinformatie en het normenkader voor dit onderzoekbegrijpelijkheid ook toetsen door na te gaan of de indicator en de omliggende teksten antwoord geven op veelvoorkomende vragen van geïnteresseerde burgers.
In onderstaande tabel zijn de deelvragen en het normenkader van dit onderzoek samengevat:
| Deelvraag | Normen |
|---|---|
| Is de indicator goed geformuleerd? | De definitie van de indicator is duidelijk en specifiek |
| De indicator is ingevuld met kwantitatieve informatie over realisatie, peilwaarde en streefwaarden | |
| Is de indicator betrouwbaar? | De kwantitatieve informatie is juist en volledig ontleend aan de bron |
| De bron van de kwantitatieve informatie is betrouwbaar | |
| De keuze voor de peilwaarde is onderbouwd | |
| De invulling van de indicator is consistent | |
| Is de indicator relevant? | De indicator geeft relevant inzicht in de uitgevoerde activiteit of het nagestreefde doel |
| De activiteit (of het doel) die met de indicator is beschreven past logischerwijs bij het bovenliggende beleidsdoel | |
| Is de indicator begrijpelijk? | De indicator is adequaat toegelicht in de omliggende tekst |
| De indicator en de omliggende tekst zijn bruikbaar voor een geïnteresseerde burger om vragen die bij hem of haar leven, beantwoord te krijgen |
Toelichting: SMART-C, bruikbaarheid van beleidsinformatie en het normenkader voor dit onderzoek
Om tot een goede doelformulering te komen wordt vaak het SMART-principe gehanteerd. SMART staat voor Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden. De Algemene Rekenkamer heeft dit principe opgenomen in de handleiding Onderzoek naar doelmatigheid en doeltreffendheid (2005) opgenomen en aangevuld met een C: Consistent (en de ‘A’ ingevuld met Afgestemd). Zo ontstaat SMART-C.
Voor het beoordelen van de bruikbaarheid van beleidsinformatie wordt weer op andere zaken gelet. Zo hanteert de Algemene Rekenkamer hier in de eerder genoemde handleiding de volgende normen voor: Relevantie, Betrouwbaarheid, Begrijpelijkheid en Vergelijkbaarheid. Daarnaast hanteert de Algemene Rekenkamer de norm dat de relevante regels voor beleidsevaluatie zijn gevolgd.
In dit onderzoek beoordelen we de bruikbaarheid van individuele indicatoren. Daarmee richt ons onderzoek zich op elementen die zowel te maken hebben met doelformulering (en daarmee SMART-C) als met het normenkader van de Algemene Rekenkamer voor bruikbare beleidsinformatie. Het normenkader bevat daarom elementen van SMART-C voor zover die noodzakelijk zijn om de beleidsinformatie die met de indicatoren wordt gegeven goed te kunnen gebruiken. Het gaat dan vooral om de elementen Specifiek, Meetbaar en Consistent. Dit vullen wij aan met normen gericht op Relevantie, Betrouwbaarheid en Begrijpelijkheid zoals die voor het beoordelen van bruikbare beleidsinformatie zijn genoemd in de handleiding van de Algemene Rekenkamer.
Aanpak en planning
Onderstaand wordt eerst ingegaan op de hoofdlijnen van de aanpak van het onderzoek. Daarbij beschrijven we ook onze selecte van indicatoren voor dit onderzoek. Daarna volgt de planning van het onderzoek (waaronder de planning van de verwachte deelpublicaties) en de samenstelling van het onderzoeksteam.
Aanpak onderzoek
Het onderzoek zal worden uitgevoerd met een serie deelonderzoeken naar vijf afzonderlijke indicatoren. Voor elke indicator voeren we het deelonderzoek grotendeels op dezelfde wijze uit. Elk deelonderzoek mondt uit in een kleine en publieksvriendelijke publicatie en een beknopt onderzoeksrapport. De deelonderzoeken worden ter kennisname aan de gemeenteraad aangeboden. Voor de deelonderzoeken worden geen bestuurlijke rapporten opgesteld en we zullen het college niet vragen om een reactie. Dit doen we pas bij de afsluitende rapportage waarin we de bevindingen uit de afzonderlijke onderzoeksrapporten samennemen en beschouwen, en enkele afsluitende onderzoekswerkzaamheden zullen verrichten.
Uit de doelenboom hebben we een selectie van indicatoren gemaakt. Daarbij hebben we een spreiding over de verschillende gemeentelijke beleidsdomeinen nagestreefd. Uiteindelijk zijn we tot de volgende selectie gekomen:
- Percentage statushouders dat maatschappelijke begeleiding volgt en dat de participatieverklaring ondertekent in het kader van inburgering (indicator nr. 7.2.1.1.3, hierna: statushouders)
- Minimaal aantal ton verwijderd drijf- en grofvuil (indicator nr. 2.2.1.1.1, hierna: drijfvuil)
- Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 m (indicator nr. 2.1.1.1, hierna: plusnet voetganger)
- Aantal nieuwe internationale bedrijven per jaar in de metropoolregio (indicator nr. 3.1.2.2.1, hierna: internationale bedrijven)
- Aantal burgers met een uitkeringsschuld (indicator nr. 7.1.1.2.2, hierna: uitkeringsschuld)
Planning
Het onderzoek start in april 2019. De verwachte afronding van het gehele onderzoek is voorzien voor februari 2020. Zoals hiervoor beschreven valt dit onderzoek uiteen in vijf kleinere deelonderzoeken die worden gevolgd door een afsluitende rapportage en een bestuurlijk rapport. Op dit moment hanteren wij voor de deelonderzoeken en de afsluitende rapportage de volgende planning:
- Deelonderzoek 1 - Statushouders: eind juni 2019
- Deelonderzoek 2 - Drijfvuil: eind augustus 2019
- Deelonderzoek 3 - Plusnet voetganger: eind september 2019
- Deelonderzoek 4 - Internationale bedrijven: eind oktober 2019
- Deelonderzoek 5 - Uitkeringsschuld: eind november 2019
- Afsluitende rapportage en Bestuurlijk rapport: februari 2020
Onderzoeksteam
Dit onderzoek wordt uitgevoerd door:
- Jurriaan Kooij (projectleider)
- Myrte Leenheer
- Robin van de Maat
- Daniëlle van der Wiel