Bruikbaarheid van indicatoren
Afsluitend onderzoeksrapport

Hoofdconclusie

De centrale onderzoeksvraag van dit onderzoek luidt:

Bieden de indicatoren uit de begroting een bruikbaar
inzicht in de doelen en activiteiten van de gemeente Amsterdam?

Hoofdconclusie
De indicatoren in de begroting zijn niet bruikbaar. Dit blijkt uit de vele tekortkomingen die we zien bij de opgenomen indicatoren in de begroting. De formulering van de indicatoren schiet vaak tekort, vooral door het ontbreken van noodzakelijke kwantitatieve informatie. Ook blijkt de relevantie van de indicatoren regelmatig onvoldoende. Doordat toelichtingen vaak ontbreken, zijn de opgenomen indicatoren moeilijk te begrijpen en te duiden. Tot slot constateren wij dat de betrouwbaarheid van de gerapporteerde cijfers in de indicatoren niet in alle gevallen is gegarandeerd.

Toelichting en leeswijzer

Inleiding

Dit is het afsluitende onderzoeksrapport van het onderzoek van de Rekenkamer Amsterdam naar de bruikbaarheid van indicatoren. Met dit onderzoek willen we inzicht geven in de mate waarin de indicatoren die de gemeente Amsterdam gebruikt om informatie over haar prestaties en bereikte doelen te geven, ook daadwerkelijk bruikbaar zijn. Het gaat om een onderzoek waarvoor wij in 2019 eerst een serie van vijf kleine deelonderzoeken hebben gepubliceerd en dat wij nu afsluiten met een overkoepelende rapportage. Dit onderzoeksrapport bevat geen aanbevelingen. In onze volgende stap zullen wij deze gaan formuleren en opnemen in een bestuurlijk rapport. Dat bestuurlijk rapport zullen wij voorleggen voor een reactie aan het college van burgemeester en wethouders. Wij verwachten het bestuurlijk rapport in mei 2020 uit te brengen.

Hierna wordt eerst ingegaan op de aanleiding voor het onderzoek. Vervolgens beschrijven we de afbakening van dit onderzoek en de centrale onderzoeksvraag. Daarna volgen de deelvragen en het normenkader dat wij hebben gebruikt voor de beantwoording van de centrale onderzoeksvraag.

Aanleiding onderzoek

Met de invoering van de dualisering van het gemeentebestuur in 2002 ontstond de verplichting voor Nederlandse gemeenten om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. Dit moet bijdragen aan het uitvoeren van de kaderstellende en controlerende rol van de gemeenteraad zoals die volgt uit de dualisering.

Meer precies werd met de inwerkingtreding van het Besluit begroten en verantwoorden (BBV) in 2003 gevraagd om informatie per programma over de doelen die worden nagestreefd. Concreet gaat het om de drie zogenoemde ‘w’ vragen: wat willen we bereiken, wat gaan we daarvoor doen en wat mag het kosten?  Meer recent, in 2016, is ook voorgeschreven dat gemeenten voor het beantwoorden van deze vragen tenminste gebruikmaken van een verzameling verplichte indicatoren. Het idee daarbij was dat het gebruik van deze indicatoren niet alleen bijdraagt aan het inzicht van de gemeenteraad, maar ook gemeenten beter onderling vergelijkbaar maakt. Deze verplichte indicatoren mogen desgewenst door gemeenten worden aangevuld met andere, door hen zelf geformuleerde, indicatoren. 

In de jaarstukken van de gemeente Amsterdam wordt inzicht gegeven in wat het college wil bereiken, welke activiteiten daarvoor worden (of zijn) ontplooid en wat de bereikte of verwachte voortgang is: de resultaten. Hiermee geeft de gemeente invulling aan de verplichting om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. Dit doet de gemeente al jaren. Sinds de Begroting 2019 heeft dit de vorm gekregen van een zogenaamde doelenboom. In de doelenboom wordt het geheel van doelen, activiteiten en indicatoren voor behaalde resultaten per programmaonderdeel weergegeven. Dit moet een gekwantificeerd inzicht verschaffen in de voortgang bij de uitvoering van het gemeentelijk beleid.

De wijze waarop de gemeente uitvoering geeft aan de verplichting om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid, is al eerder onderwerp van onderzoek geweest. Zo hebben we in een van onze eerste onderzoeken op verzoek van de gemeenteraad de kwaliteit van de in de begroting opgenomen doelen beoordeeld (Meetbaarheid gemeten, 2006).

Afgezien van latere actualisaties van dit eerste onderzoek (bijvoorbeeld het vervolgonderzoek Meetbaarheid gemeten uit 2007 en het onderzoek Meetbaarheid van het jaarverslag 2007 uit 2008) is dit onderwerp in het onderzoek Informatiewaarde van de begroting in 2013 opnieuw diepgaand onderzocht. Ook dit onderzoek is later nog een keer uitgebreid (Verdieping informatiewaarde van de begroting, 2014). De rode draad uit de conclusies van deze onderzoeken is dat er een voorzichtige opgaande lijn zichtbaar is in het gebruik van indicatoren. Tegelijkertijd worden telkens de nodige tekortkomingen gesignaleerd. Zo werd gewezen op de noodzaak doelstellingen beter te formuleren, goed onderscheid te maken tussen effect- en prestatie-indicatoren en de noodzaak duidelijk te maken wat de streefwaarden zijn. Verder werd gepleit voor het zorgen voor een goede aansluiting op de ambities van het college en er tegelijkertijd voor te zorgen dat de reguliere activiteiten van de gemeente niet onderbelicht zijn.

Ook de gemeenteraad heeft zich op verschillende momenten uitgesproken of vragen gesteld over de kwaliteit van het gebruik van indicatoren in de begroting en de jaarrekening van de gemeente Amsterdam. Zoals hiervoor al gesteld, was een verzoek van de gemeenteraad uit 2006 de aanleiding voor ons eerste onderzoek naar dit onderwerp.  In 2010 deed gemeenteraad een oproep aan het college om een beter leesbare begroting te maken. Daarbij werd nadrukkelijk ook de wens uitgesproken om meetbare en valideerbare indicatoren te formuleren.  Deze wens werd kort daarop opnieuw herhaald. 

Meer recent is ook in aanbevelingen die zijn gedaan door de zogenoemde 'Duisenberg rapporteurs' aandacht gevraagd voor de kwaliteit van indicatoren.  Zo werd er bij de rapportage over het Jaarverslag 2016 en de Begroting 2018 onder meer aanbevolen dat de rapportage over doelen, activiteiten en indicatoren transparanter, logischer en daarmee ook begrijpelijker kan. De formuleringen van doelen, activiteiten en bijbehorende indicatoren moesten scherper en beter op elkaar aansluiten. Streefwaarden moesten beter worden gemotiveerd en toegelicht en duidelijk moest zijn welke definitie is gebruikt. Tot slot was een terugkerende wens dat de doelen en activiteiten duidelijk gekoppeld zijn aan de inzet van financiële middelen. 

Met het aantreden van het nieuwe college in 2018 is bij de Begroting 2019 een doelenboom opgesteld.  Deze doelenboom is opgesteld na een verzoek van de gemeenteraad. Aanleiding daarvoor was de vraag om uitgaven en inkomsten te koppelen aan specifieke doelen en activiteiten in de begroting.  Daarbij waren de doelen en activiteiten in de loop der jaren zo uitgebreid dat er geen sprake meer was van een overzichtelijke doelenboom.  Het doel van het opstellen van de nieuwe doelenboom was dan ook om een volledig beeld te geven van de gemeentelijke activiteiten. Deze doelenboom is in een korte tijdsperiode tot stand gekomen. De eerste versie was pas in december 2018 beschikbaar, dus na het vaststellen van de begroting. Bij de Voorjaarsnota 2019 werd de doelenboom als bijlage gepresenteerd en in de Begroting 2020 is de doelenboom weer een integraal onderdeel van de begroting. Met deze doelenboom zijn ook de budgetten op doelniveau gekoppeld in de financiële administratie.  In dit onderzoek gaan we na of deze nieuwe doelenboom een helder, relevant en bruikbaar inzicht oplevert.

Doel en onderzoeksvragen

Met dit onderzoek willen we beoordelen of de indicatoren uit de doelenboom van de gemeente Amsterdam inzicht bieden in de realisatie van de doelen die de gemeente wil behalen en de activiteiten die de gemeente daarvoor uitvoert.

De onderzoeksvraag voor dit onderzoek luidt als volgt:

Bieden de indicatoren uit de begroting een bruikbaar
inzicht in de doelen en activiteiten van de gemeente Amsterdam?

Onder bruikbaarheid verstaan we niet alleen dat indicatoren correct zijn geformuleerd en ingevuld. Het gaat om meer dan alleen maar meten en tellen. Een bruikbare indicator moet ook betrouwbaar, relevant en begrijpelijk zijn. Een goede indicator geeft een accuraat inzicht in de essentie van gemeentelijke activiteiten en doelen en is eenvoudig te interpreteren.

De bruikbaarheid van de indicatoren gaan we beoordelen aan de hand van vier deelvragen:

  1. Formulering: in hoeverre zijn de indicatoren goed geformuleerd?
  2. Betrouwbaarheid: in hoeverre zijn de indicatoren betrouwbaar?
  3. Relevantie: in hoeverre zijn de indicatoren relevant?
  4. Begrijpelijkheid: in hoeverre zijn de indicatoren begrijpelijk?

Voor de beantwoording van deze deelvragen beoordelen we eerst de omschrijving van de indicatoren. Daarbij is het de vraag of indicatoren zich lenen voor het meten van resultaten.  Vervolgens bekijken we of de indicatoren voorzien zijn van kwantitatieve informatie over realisatie, streefwaarden en de peilwaarde.

Toelichting: SMART-C, bruikbaarheid van beleidsinformatie en het normenkader voor dit onderzoek

Om tot een goede doelformulering te komen, wordt vaak het SMART-principe gehanteerd. SMART staat voor Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. De Algemene Rekenkamer heeft dit principe opgenomen in de handleiding Onderzoek naar doelmatigheid en doeltreffendheid (2005) en aangevuld met een C: Consistent (en de ‘A’ ingevuld met Afgestemd). Zo ontstaat SMART-C.

Voor het beoordelen van de bruikbaarheid van beleidsinformatie wordt weer op andere zaken gelet. Zo hanteert de Algemene Rekenkamer hier in de eerder genoemde handleiding de volgende normen voor: Relevantie, Betrouwbaarheid, Begrijpelijkheid en Vergelijkbaarheid. Daarnaast hanteert de Algemene Rekenkamer de norm dat de relevante regels voor beleidsevaluatie zijn gevolgd.

In dit onderzoek beoordelen we de bruikbaarheid van individuele indicatoren. Daarmee richt ons onderzoek zich op elementen die zowel te maken hebben met doelformulering (en daarmee SMART-C) als met het normenkader van de Algemene Rekenkamer voor bruikbare beleidsinformatie. Het normenkader bevat daarom elementen van SMART-C voor zover die noodzakelijk zijn om de beleidsinformatie die met de indicatoren wordt gegeven, goed te kunnen gebruiken. Het gaat dan vooral om de elementen Specifiek, Meetbaar en Consistent. Dit vullen wij aan met normen gericht op Relevantie, Betrouwbaarheid en Begrijpelijkheid zoals die voor het beoordelen van bruikbare beleidsinformatie zijn genoemd in de handleiding van de Algemene Rekenkamer.

Het tweede aspect is de betrouwbaarheid van de indicatoren. Allereerst gaat het daarbij om de vraag of de gepresenteerde cijfers juist en volledig zijn en ontleend aan een betrouwbare bron. Daarnaast is de kwaliteit van de peilwaarde belangrijk voor de betrouwbaarheid van een indicatoren. Een goed gekozen peilwaarde is noodzakelijk voor een realistisch perspectief op de ambitie en de gerapporteerde resultaten. Tot slot onderzoeken we of bij de invulling van de indicatoren sprake is van consistent toegepaste definities. Immers, pas als de definitie van de beschreven indicatoren spoort met de gepresenteerde waarden voor realisatie, streefwaarden en peilwaarde, is een betekenisvolle interpretatie mogelijk.

Ten derde gaan we na of de indicatoren relevant zijn. Het is de bedoeling dat de indicatoren een goed beeld geven van de uitvoering van een activiteit of de realisatie van een doel. Een indicator die niet de essentie van deze activiteit (of het nagestreefde doel) raakt, mist relevantie. Daarnaast beoordelen we de samenhang met andere onderdelen van het beleid. Een indicator is alleen relevant als het ook past bij bovenliggende beleidsdoelen. Pas dan kan de indicator waarmee de activiteit of het doel wordt beschreven worden gebruikt om ontwikkelingen in de bovenliggende beleidsdoelen te verklaren en te duiden.

Het vierde (en laatste) aspect dat we beoordelen in dit onderzoek is of de indicatoren in samenspel met de omliggende tekst voldoende begrijpelijk zijn. We zullen beoordelen of uit de omliggende teksten duidelijk wordt wat het belang is van de indicatoren, welke betekenis de weergegeven waarden hebben, waarom is gekozen voor de gehanteerde streefwaarden en hoeveel geld er mee gemoeid is. Tot slot zullen we de begrijpelijkheid ook toetsen door na te gaan of de indicatoren en de omliggende teksten antwoord geven op veelvoorkomende vragen van geïnteresseerde burgers.

Onderstaande tabel geeft de normen en toetsaspecten weer die we hebben gebruikt bij de beantwoorden van de deelvragen.

Tabel 1.1 - Overzicht normen en toetsaspecten
NormToetsaspect
Formulering is goed
  • de indicator is duidelijk en specifiek;
  • de indicator is voorzien van kwantitatieve informatie.
Indicator is betrouwbaar
  • de kwantitatieve informatie is betrouwbaar;
  • de keuze voor de peilwaarde is onderbouwd;
  • de invulling van de indicator is consistent.
Indicator is relevant
  • de indicator geeft een relevant inzicht in de uitgevoerde activiteit of het nagestreefde doel;
  • de indicator heeft een logische samenhang binnen de doelenboom.
Indicator is begrijpelijk
  • de indicator is adequaat toegelicht in de omliggende tekst;
  • de indicator en de omliggende tekst hebben voldoende informatiewaarde voor de burger.

Aanpak

Voor de beantwoording van de deelvragen hebben we meerdere onderzoeksactiviteiten uitgevoerd. We hebben eerst vijf indicatoren geselecteerd en deze onderzocht op bruikbaarheid. Deze deelonderzoeken hebben geleid tot vijf aparte publicaties. Vervolgens hebben we de bevindingen uit deze deelonderzoeken nader beschouwd en aanvullende onderzoekswerkzaamheden uitgevoerd.

Deelonderzoeken

We hebben vijf indicatoren uitgebreid onderzocht aan de hand van bovenstaande toetsaspecten. Bij onze selectie van vijf indicatoren hebben we ons gebaseerd op de doelenboom zoals die in december 2018 aan de gemeenteraad werd voorgelegd. We streefden daarbij een spreiding over de verschillende gemeentelijke beleidsdomeinen na. In tabel 1.2 geven we overzicht van de uitgevoerde deelonderzoeken.

Tabel 1.2 - Uitgevoerde deelonderzoeken
DeelonderzoekIndicatorNummerPublicatiedutum

1. Hulp aan
statushouders

Percentage statushouders dat maatschappelijke begeleiding volgt en dat de participatie-verklaring ondertekent in het kader van inburgering 7.2.1.1.320-06-2019

2. Drijf- en grofvuil

Minimaal aantal ton verwijderd drijf- en grofvuil2.2.1.1.119-09-2019

3. Plusnet voetganger

Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 m2.1.1.110-10-2019

4. Internationale bedrijven

Aantal nieuwe internationale bedrijven per jaar in de metropoolregio3.1.2.2.128-11-2019

5. Uitkeringsschuld

Aantal burgers met een uitkeringsschuld7.1.1.2.219-12- 2019

Deze onderzoeken hebben geleid tot aparte publicaties die we hebben gepubliceerd op onze website en ter kennisname aan de gemeenteraad hebben gestuurd. Deze publicaties zijn hier te vinden.

In dit onderzoek richten we ons op de indicatoren uit de Begroting 2020. De bevindingen van de eerste drie deelonderzoeken (hulp aan statushouders, drijf- en grofvuil en plusnet voetganger) waren gebaseerd op indicatoren uit de doelenboom behorende bij de Begroting 2019. Dit betekent dat we de bevindingen uit deze deelonderzoeken waar mogelijk hebben geactualiseerd. Deze actualisatie is met name relevant voor de indicator hulp aan statushouders, aangezien deze indicator - na publicatie van ons rapport - is vervangen door een nieuwe indicator: Percentage statushouders dat binnen drie jaar na instroom in de Amsterdamse Aanpak Statushouders uitstroomt uit de uitkering. De actualisaties zijn relevant voor de beantwoording van de onderzoeksvragen over de formulering en de relevantie. Voor de beantwoording van de onderzoeksvragen over betrouwbaarheid was een actualisatie voor twee indicatoren niet noodzakelijk (drijf- en grofvuil en plusnet voetganger) en voor hulp aan statushouders was de indicator dusdanig gewijzigd dat dit een nieuw onderzoek zou vergen. De deelonderzoeken over de indicatoren internationale bedrijven en uitkeringsschuld waren al gebaseerd op de Begroting 2020 waardoor een actualisatie van de bevindingen niet van toepassing is.

Eindrapportage

Voor deze eindrapportage hebben we onze bevindingen uit de deelonderzoeken nader beschouwd. Daarnaast hebben we aanvullende werkzaamheden uitgevoerd om de bevindingen beter in perspectief te kunnen plaatsen. Hiervoor hebben we de indicatoren uit de Begroting 2020 nog nader bekeken, documentanalyses uitgevoerd, informatie ingewonnen bij de Directie Middelen en Control en gesproken met gemeenteraadsleden.

Indicatorenanalyse Begroting 2020
Om de bevindingen uit de deelonderzoek in een breder perspectief te kunnen plaatsen hebben we de indicatoren uit de Begroting 2020 geanalyseerd op:

  • volledigheid van de aanwezigheid van kwantitatieve informatie;
  • betekenis van referenties naar andere documenten bij de indicatoren.

Daarnaast hebben we dertig indicatoren beoordeeld op een toelichting in de tekst.

Documentanalyse
We hebben aanvullende documenten bekeken die verband houden met de bruikbaarheid van indicatoren zoals onze oude rekenkamerrapporten , de Duisenbergrapportages van de Amsterdamse gemeenteraad, de rapportage van de Financiële Enquêtecommissie 2002-2014, de instructies en circulaire voor het opstellen van de doelenboom en de begroting.

Gesprekken
Ter afronding en duiding van ons onderzoekswerk hebben we gesprekken gevoerd met de Directie Middelen en Control en met raadsleden over de bruikbaarheid van de indicatoren.

Afbakening onderzoek

In dit onderzoek richten wij ons op de bruikbaarheid van de indicatoren uit de Begroting 2020 van de gemeente Amsterdam. De basis voor deze indicatoren is gelegd in de doelenboom die in december 2018 door de gemeenteraad is vastgelegd. In de begroting staan zowel indicatoren voor doelen als activiteiten. Beide soorten indicatoren nemen wij mee in dit onderzoek. We kijken daarbij niet alleen of de doelenboom een bruikbaar inzicht oplevert voor raadsleden en professionals, maar ook in hoeverre deze informatie bruikbaar is voor geïnteresseerde burgers.

Leeswijzer

Dit afsluitende Onderzoeksrapport bevat de gedetailleerde beantwoording op de deelvragen. Per hoofdstuk behandelen we een deelvraag. Onderstaande tabel geeft weer welke onderzoeksactiviteiten we hebben uitgevoerd voor de beantwoording van de deelvraag.

Tabel 1.3 - Leeswijzer
OnderzoeksvraagHoofdstukOnderzoeksactiviteiten
FormuleringHoofdstuk 2
  • bevindingen uit de deelonderzoeken
  • brede analyse indicatoren 2020
BetrouwbaarheidHoofdstuk 3
  • bevindingen uit de deelonderzoeken
RelevantieHoofdstuk 4
  • bevindingen uit de deelonderzoeken
BegrijpelijkheidHoofdstuk 5
  • bevindingen uit de deelonderzoeken
  • brede analyse van de toelichting op de indicatoren

Gedetailleerde onderzoeksbevindingen

Formulering

De indicatoren in de begroting moeten bijdragen aan het inzicht voor de gemeenteraad over het behalen van de doelen van de gemeente en de uitvoering van de activiteiten. Om ervoor te zorgen dat de indicatoren daaraan bijdragen is een goede formulering van belang. Om te beoordelen of hiervan sprake is, hebben we gekeken of:

  • de formulering van de indicatoren duidelijk en specifiek is;
  • de indicatoren voldoende zijn voorzien van kwantitatieve informatie.

Ons oordeel over de formulering is gebaseerd op onze bevindingen uit de deelonderzoeken en uit een integrale analyse van de aanwezigheid van kwantitatieve informatie uit de Begroting 2020.

Duidelijke en specifieke formulering

Een duidelijke formulering van de indicator is van belang omdat daarmee duidelijk moet worden wat de indicator meet. Wij verwachten dat een indicator ondubbelzinnig aangeeft wat er gemeten wordt.

Richtlijnen bij het opstellen van indicatoren
De gemeente heeft bij het opstellen van de doelenboom - wat ook de basis is voor de indicatoren uit de Begroting 2020 - richtlijnen meegegeven voor de formulering van de indicator. In deze instructie is op hoofdlijnen aangegeven waar de formulering van doelen, activiteiten en indicatoren aan moet voldoen. Voor de formulering van de indicatoren is in de instructie het volgende opgenomen. De instructie maakt een onderscheid tussen twee niveaus van indicatoren in de doelenboom:

  • Effectindicator: verklaart een en ander over het te realiseren doel. "Hoe stellen we vast dat we het hebben bereikt."
  • Outputindicator: verklaart iets over de realisatie van de activiteit. “Hoe stellen we vast dat we hebben gedaan wat we van plan waren.” 

Daarnaast werd in de instructie aangegeven dat er weliswaar geen beperking was voor het aantal indicatoren, maar dat wel werd geadviseerd het aantal indicatoren beperkt te houden. 

De indicatoren zijn volgens medewerkers bij de Directie Middelen en Control tot stand gekomen op basis van een collectieve verantwoordelijkheid, waarbij zowel de lijn (de inhoudelijke directies), het Gemeentelijk Managementteam en het college verantwoordelijk waren. 

Bevindingen duidelijke en specifieke indicator
In de deelonderzoeken naar de vijf indicatoren hebben we beoordeeld in hoeverre er sprake was van een duidelijke en specifieke formulering. Onze bevindingen zijn in onderstaande tabel samengevat.

Tabel 2.1 - Beoordeling formulering van de indicatoren op basis van de Begroting 2020
IndicatorIndicator is duidelijk en specifiek
Percentage statushouders dat binnen drie jaar na instroom in de Amsterdamse Aanpak Statushouders uitstroomt uit de uitkering.+/- 
Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 meter.+/-
Minimaal aantal ton verwijderd drijf- en grofvuil.+/-
Aantal nieuwe internationale bedrijven in de metropoolregio.+/-
Aantal mensen met een uitkeringsschuld.-
+ = de beoordeling is voldoende
+/- = de beoordeling is voldoende met mogelijkheid tot verbetering
- = de beoordeling is onvoldoende

Bij de beoordeling hebben we gekeken of de formulering ondubbelzinnig duidelijk maakt wat er wordt gemeten. Wij constateren dat vier van de vijf indicatoren redelijk duidelijk en specifiek zijn geformuleerd. Dit betekent dat helder is wat er wordt gemeten en dat de indicatoren over het algemeen goed geformuleerd zijn.

We constateren verder dat de indicator statushouders - naar aanleiding van onze rapportage - in de Begroting 2020 in positieve zin is aangepast. De indicator uit de Begroting 2019 beoordeelden we namelijk als onvoldoende duidelijk en specifiek, vanwege de aanwezigheid van twee ongelijksoortige activiteiten.

Actualisatie bevindingen over een duidelijke en specifieke de formulering op basis van Begroting 2020

De indicator hulp aan statushouders is in de Begroting 2020 geheel vervangen door een nieuwe indicator.  Wat betreft de formulering is deze indicator naar ons oordeel in positieve zin aangepast. De nieuwe indicator luidt 'Percentage statushouders dat binnen drie jaar na instroom in de Amsterdamse Aanpak Statushouders uitstroomt uit de uitkering.' Waar de indicator in de Begroting 2019 nog twee ongelijksoortige activiteiten omvatte, is de nieuwe indicator nu wel duidelijk en specifiek geformuleerd. Kanttekening is dat de indicator specifieker zou kunnen zijn in welke vormen van uitstroom uit de uitkering wel en niet worden meegeteld. Wij hebben van de ambtelijke organisatie begrepen dat het doen van vrijwilligerswerk ook wordt gezien als uitstroom uit de Amsterdamse Aanpak Statushouders, maar dat dit geen uitstroom uit de uitkering is.  De formulering van de indicator drijf- en grofvuil en plusnet voetganger is in de Begroting 2020 onveranderd gebleven. Onze bevinding dat deze indicatoren voldoende duidelijk en specifiek zijn geformuleerd, blijft daarmee in stand. 

Bij alle indicatoren vinden we dat er termen worden gebruikt die zonder toelichting onvoldoende duidelijk zijn. Dit zorgt ervoor dat het lastig is de genoemde cijfers te duiden. Zo kan de indicator statushouders uit de Begroting 2020 wel specifieker door aan te geven welke vormen van uitstroom worden meegeteld. Wij hebben van de ambtelijke organisatie begrepen dat het doen van vrijwilligerswerk ook wordt gezien als uitstroom uit de Amsterdamse Aanpak Statushouders, maar dat dit geen uitstroom uit de uitkering is.  In het geval van plusnet voetganger constateren we dat de gehanteerde begrippen opvallend technisch zijn. Wat is het plusnet voetganger en wat betekent een minimale doorloopruimte van 1,80 meter?  Ook is het niet duidelijk of bij het aantal nieuwe internationale bedrijven rekening is gehouden met bedrijven die weer zijn vertrokken: is het een netto- of bruto-toename?  De indicator drijf- of grofvuil is wel duidelijk en specifiek, maar plaatsen we duidelijk kanttekeningen bij de relatie tot de beschreven activiteit waarbij het ook over baggeren gaat.  De indicator internationale bedrijven is bedoeld als activiteitindicator. We zien echter dat de indicator overwegend het karakter heeft van een effectmeting en geen inzicht biedt in de activiteiten die de gemeente uitvoert om dit resultaat te bereiken.  De indicator uitkeringsschuld beoordelen we als onvoldoende. Het begrip uitkeringsschuld is niet specifiek genoeg: wat omvat dit? Door het ontbreken van een toelichting hierop is niet duidelijk welke mensen wel of niet worden meegerekend. 

Onze bevindingen over de formulering van de vijf onderzochte indicatoren zien wij ook terugkomen in eerdere onderzoeken. Zo werd al in 2007 gewezen op het belang van een duidelijke en specifieke formulering. Ook zagen we in alle eerdere rapporten dat het onderscheid tussen indicatoren voor activiteiten en doelen meer aandacht behoeft. Tot slot zagen we in alle eerdere rapporten de noodzaak om instructies te verbeteren om zodoende de problemen in onder andere de formulering van indicatoren te verhelpen.

Belang van een duidelijke en specifieke formulering al eerder duidelijk

In 2007 adviseerden we om doelen zo specifiek mogelijk te formuleren. We bedoelden bij 'specifiek' dat het doel eenduidig en helder is geformuleerd, door expliciet aan te geven wat bepaalde begrippen betekenen en op welke doelgroepen het doel betrekking heeft. We gaven aan dat een te algemeen geformuleerde doelstelling problemen geeft bij de monitoring van de prestaties en effecten.  We constateerden ook dat lang niet alle doelen voldoende meetbaar waren geformuleerd. We gaven daarbij aan begrip te hebben voor het feit dat niet alle doelstellingen even gemakkelijk meetbaar en afrekenbaar te maken zijn. Wel vonden wij dat de gemeente moest streven naar zo volledig, meetbaar en afrekenbaar mogelijke jaarstukken. 

In dit onderzoek besteden we uitsluitend aandacht aan de formulering van de indicator en niet aan de formulering van een doel of activiteit. Maar ook bij de formulering van de indicator zien we dat een specifieke en duidelijke formulering van belang is voor de monitoring.

Onderscheid tussen effect (doel)- en prestatie(activiteit)-indicatoren al langer belangrijk

In bijna alle rapporten die betrekking hadden op de informatiewaarde van de jaarstukken gingen we in op het verschil tussen effecten en prestaties en de bijbehorende doelen en indicatoren.  We benadrukten meermaals dat een effectdoel te maken heeft met datgene wat de gemeente wil bereiken en een prestatiedoel weergeeft wat de gemeente concreet wil gaan doen. Effectdoelen moeten dan worden voorzien van effectindicatoren en prestatiedoelen van prestatie-indicatoren. We constateerden dat de formulering veelal onvoldoende specifiek was, waardoor er sprake was van vermenging van prestaties en effecten.  Daarnaast constateerden we dat er geen goed onderscheid werd gemaakt tussen effect- en prestatiedoelen. We zagen dat regelmatig prestatie-indicatoren worden gekoppeld aan effectdoelstellingen en andersom.

De vijf deelonderzoeken die we voor dit onderzoek hebben uitgevoerd, betroffen een doelindicator en vier activiteitindicatoren. We constateren dat de doelindicator niet aansluit op het doel en we kunnen ook zeggen dat er geen sprake was van een goed geformuleerde doelindicator. Bij de beoordeelde activiteitindicatoren zien we dat twee activiteitindicatoren daadwerkelijk als activiteitindicator zijn te interpreteren: het percentage statushouders en het aantal ton verwijderd drijf- en grofvuil. De activiteitindicator voor de aanwezigheid van internationale bedrijven zien wij meer als effectindicator en het aantal mensen met een uitkeringsschuld geeft ook niet direct inzicht in de activiteit die de gemeente doet. We zien dat het ook in de huidige situatie lastig blijkt een goed onderscheid te maken tussen doel- en activiteitindicatoren.

Zorg voor een duidelijke instructie

We wezen in onze eerdere rapporten regelmatig op de kwaliteit van de instructie voor de ambtelijke organisatie. Het bleek dat de instructie die werd meegegeven voor het opstellen van de doelen en de indicatoren veelal te wensen overliet. Zo adviseerden we in 2008 om in de instructie duidelijk te maken hoe vermenging van effecten en prestaties kan worden voorkomen. In 2013 constateerden we dat de systematiek van effect- en prestatiedoel onzorgvuldig was. Als mogelijke verklaring gaven we aan dat dit onvoldoende in de instructies was opgenomen. We adviseerden om de circulaire te herschrijven, waarbij de invulinstructie geperfectioneerd moest worden. Dit moest ertoe leiden dat het aanleveren van teksten gemakkelijker zou worden en het resultaat leesbaarder. We vroegen ook nog om in de ambtelijke organisatie meer aandacht te besteden aan de nieuwe systematiek en aan de wijze waarop doelen, indicatoren en nulmetingen moeten worden uitgewerkt. In het onderzoek uit 2014 werd door de diensten aangegeven weinig houvast te hebben aan de instructies om kwalitatief goede indicatoren te kunnen opstellen. Ook in 2015 concludeerden we dat de interne instructies niet helder waren voor het opstellen van de indicatoren. Wij deden de aanbeveling om een nieuwe handleiding te maken. 

In dit onderzoek hebben we de kwaliteit van de instructies niet diepgaand onderzocht. Wél hebben we gezien dat de gemeente in de instructie voor het opstellen van de doelenboom in 2018 aandacht heeft voor het formuleren van doelen en activiteiten. De instructie voor de doelenboom geeft voor de formulering van het doel aan dat dit duidelijk moet maken wat de gemeente wil bereiken, waarbij het gaat om de gewenste maatschappelijke situatie. Ook wordt benoemd dat vermeden moet worden dat activiteiten een onderdeel worden van de formulering van de doelstelling. Vervolgens wordt voor de activiteit aangegeven dat de activiteit duidelijk maakt wat de gemeente gaat doen. Voor het opstellen van indicatoren wordt benadrukt dat er effectindicatoren en outputindicatoren moeten worden opgenomen. Waarbij het bij de effectindicator gaat om een indicator om vast te stellen dat het doel is bereikt, en de outputindicator een verklaring geeft voor het realiseren van de activiteit. 

Aanwezigheid kwantitatieve informatie

Een indicator wordt pas informatief als deze kwantitatieve informatie bevat. Deze informatie biedt de gemeenteraad de mogelijkheid de (beoogde) resultaten te duiden. In de begroting moet per indicator kwantitatieve informatie worden opgenomen die inzicht geeft in de waarde die als basis dient (peilwaarde/-jaar of nulmeting), wat de beoogde streefwaarde was in het voorgaande begrotingsjaar, wat de realisatiewaarde is geweest op basis van gegevens uit de rekening, wat de gemeente het komende begrotingsjaar wil bereiken en wat de gemeente op termijn wil bereiken (streefwaarden of prognoses).

We hebben de aanwezigheid van de kwantitatieve informatie op meerdere manieren beoordeeld. Allereerst hebben we integraal onderzocht in hoeverre voor de opgenomen indicatoren in de Begroting 2020 de benodigde kwantitatieve informatie volledig aanwezig was (ter vergelijking hebben we dit ook voor de Begroting 2018 gedaan). Vervolgens hebben we bij de deelonderzoeken meer in detail bekeken welke informatie precies aanwezig was en welke informatie ontbrak. Tenslotte hebben we bekeken wanneer in de Begroting 2020 werd gerefereerd aan een ander document en of de indicator met bijbehorende kwantitatieve informatie dan eenvoudig te vinden was.

In onderstaande tabel staan de toetsaspecten en onderzoeksactiviteiten die we hebben uitgevoerd voor de beoordeling van de aanwezigheid van kwantitatieve informatie.

Tabel 2.2 - Toetsaspecten en onderzoeksactiviteiten aanwezigheid kwantitatieve informatie
ToetsaspectOnderzoeksactiviteit
Aanwezigheid kwantitatieve informatie
  • Brede indicatorenanalyse
  • Deelonderzoeken
Referenties aan andere documenten
  • Brede indicatorenanalyse
Aantal indicatoren voorzien van kwantitatieve informatie

We hebben zowel in onze integrale analyse als in de deelonderzoeken bekeken in hoeverre de indicatoren waren voorzien van kwantitatieve informatie. We zullen deze onderdelen van het onderzoek hieronder apart bespreken.

Integrale analyse
Voor de beoordeling of de indicatoren zijn voorzien van voldoende kwantitatieve informatie, hebben we in de Begroting 2020 geteld hoe vaak de indicator zelf is geformuleerd en of de waarden bij de indicator volledig of onvolledig zijn ingevuld. We hebben daarbij een onderscheid gemaakt naar doel- en activiteitenindicatoren. Ter vergelijking hebben we dit ook voor 2018 geteld. Figuur 2.1 geeft een overzicht van de (on)volledig ingevulde doel- en activiteitindicatoren voor 2018 en 2020. 

Figuur 2.1 - Aantal (on)volledig ingevulde doel- en activiteitenindicatoren 2018 en 2020

Toelichting beoordeling aanwezigheid kwantitatieve informatie begroting

Bij de analyse van de aanwezigheid van de kwantitatieve informatie hebben wij een strenge beoordeling toegepast. Dat betekent dat als bij de indicator een of meer kwantitatieve elementen ontbraken, de gehele indicator als onvolledig scoorde. We hebben in de telling dus geen onderscheid gemaakt tussen indicatoren die in het geheel niet waren ingevuld en indicatoren die gedeeltelijk waren ingevuld. We hebben in deze telling ook geen rekening gehouden met mogelijke verklaringen waarom indicatoren of bijbehorende kwantitatieve informatie ontbrak. Ter vergelijking hebben we dit ook gedaan voor de Begroting 2018. We realiseren ons dat de begroting van 2018 volgens een ander principe was opgebouwd dan de begroting in 2020. Desondanks was er ook in 2018 sprake van indicatoren die goed geformuleerd moesten zijn. Daarmee hebben we willen bekijken of er in de oude situatie (zonder doelenboom) en in de nieuwe situatie een verandering zichtbaar is.

We constateren dat er in de Begroting 2020 in totaal 357 indicatoren hadden moeten zijn ingevuld, dit waren 82 doelindicatoren en 275 activiteitindicatoren. Van deze indicatoren zijn 99 indicatoren volledig ingevuld (28%) en 258 (72%) niet. Als we onderscheid maken tussen de doel- en activiteitindicatoren dan zien we dat het in de verhouding wel en niet ingevulde indicatoren niet uitmaakt of het doel- of activiteitindicatoren betreft. Bij de verplichte BBV-indicatoren is de score nog lager: daarvan is in de Begroting 2020 slechts 19% (7 van de 36) ingevuld.

Invulling BBV-indicatoren onvoldoende

De BBV-indicatoren zijn voorgeschreven vanuit het Besluit Begroting en Verantwoording (BBV). Volgens het BBV moeten de beoogde maatschappelijke effecten (minstens) worden toegelicht aan de hand van de vastgestelde beleidsindicatoren en moet ook bij de verantwoording worden aangegeven of de beoogde doelen zijn gerealiseerd.  Wij constateren dat in de Begroting 2020 7 van de 36 (19%) BBV-indicatoren zijn ingevuld (ter vergelijking: in 2018 ging het om 7 van de 40 BBV-indicatoren, dus 18%). De bedoeling van deze indicatoren is volgens het college een vergelijking tussen gemeenten mogelijk te maken. Daarbij zijn deze indicatoren alleen als meetwaarden bedoeld en niet om zelf op te kunnen sturen.  In de rapportages naar aanleiding van de methode Duisenberg wordt ook meermaals verwezen naar de BBV-indicatoren. Daarin komt vaak terug dat zelfs de verplichte BBV-indicatoren ontbreken. 

Vergelijken we het beeld van de Begroting 2020 met de Begroting 2018, dan zien we allereerst dat de Begroting 2018 uit meer indicatoren bestaat dan de Begroting 2020. In de Begroting 2018 hadden 393 indicatoren moeten zijn ingevuld. In de Begroting 2018 waren er veel meer doelindicatoren (205) en minder activiteitindicatoren (275). We kunnen ook zien dat 37% van de indicatoren in de Begroting 2018 waren ingevuld en dat dit percentage hoger ligt dan in de Begroting 2020. Net als in de Begroting 2020 was hierbij in de Begroting 2018 geen noemenswaardig verschil tussen doel- en activiteitindicatoren. En ook in de Begroting 2018 was het percentage van ingevulde verplichte BBV-indicatoren (18%) lager dan bij de overige indicatoren.

Al met al kunnen we concluderen dat de gemeente bij de Begroting 2018 beter in staat was de indicatoren van kwantitatieve waarden te voorzien dan bij de Begroting 2020, ondanks dat het college had aangegeven dat de indicatoren - op een uitzondering na - al zouden zijn ingevuld met de Voorjaarsnota 2019. Daarnaast signaleren wij dat de aanwezigheid van kwantitatieve informatie al veel langer een aandachtspunt is. Zo wordt het ontbreken hiervan tevens al benoemd als probleem in onze eerste onderzoeken, maar ook, meer recent, in de rapportages in het kader van de methode Duisenberg.

Aanwezigheid kwantitatieve informatie al langer aandachtspunt

We gaven in 2007 en 2008 ook aan dat het voor de meetbaarheid van doelen belangrijk is om kwantitatieve referentiewaarden en streefwaarden op te nemen. Met referentiegegevens bedoelden we een peilwaarde/-jaar waarmee voldoende inzicht wordt gegeven in de huidige stand van zaken. Als die gegevens bekend zijn, dan kunnen de streefwaarden in perspectief geplaatst worden. Aan de hand van die gegevens kan de gemeenteraad de voortgang van het beleid controleren. We constateerden dat de referentiewaarden veelal ontbraken en dat daar meer aandacht voor moest komen.  In een rapport uit 2014 gaven we aan dat het van belang is om bij de keuze van de indicator een afweging te maken tussen kosten en het belang van een jaarlijkse meting. In sommige gevallen kan er namelijk voor gekozen worden dat niet jaarlijks, maar tweejaarlijks wordt gemeten.  Ook uit de meer recente Duisenbergrapportages blijkt het belang van de aanwezigheid van de kwantitatieve informatie en werd geconstateerd dat streefwaarden niet altijd volledig zijn ingevuld. Zo werd bij de analyse van Parkeren en Duurzaamheid en Participatie uit 2017 en Jeugdhulp uit 2018 gezien dat streefwaarden ontbraken. 

We hebben niet alleen gekeken of de kwantitatieve informatie in zijn geheel aanwezig was, maar we hebben ook gekeken welk onderdeel van de kwantitatieve informatie dan ontbrak. Figuur 2.2 laat dit zien voor de indicatoren uit de Begroting 2018 en 2020. 

Figuur 2.2 - Percentage van de ontbrekende elementen van alle onvolledig ingevulde indicatoren uit de Begroting 2018 en Begroting 2020


Uit bovenstaand staafdiagram blijkt dat in de Begroting 2020 de data over de realisatie (rekening) het minst vaak zijn ingevuld, verder is ontbrekende informatie gelijkwaardig verdeeld. De data uit de rekening blijkt het minst vaak ingevuld. Voor de Begroting 2018 ligt dat wat anders, daar ontbrak het meeste (een element) van de prognose en in veel meer gevallen dan bij de Begroting 2018 was de gehele indicator niet ingevuld.

In de Begroting 2020 worden uiteenlopende verklaringen genoemd voor het ontbreken van kwantitatieve informatie:

  • de meting wordt tweejaarlijks uitgevoerd;
  • de (eerste) meting moet nog worden uitgevoerd;
  • de indicatoren zijn in een andere rapportage opgenomen;
  • de indicator is nieuw en stond niet in het jaarverslag en de voorgaande begroting;
  • geen indicatoren ingevuld, omdat het geen outputgerichte activiteit betreft;
  • geen streefwaarden, alleen realisatiewaarden die als meetwaarden moeten worden beschouwd. 

Specifiek voor de streefwaarden (prognose) bleek dat er bij het beschikbaar komen van de doelenboom eind 2018 in de motie Inzichtelijk maken van uw ambities werd geconstateerd dat bij 50% van de indicatoren de controlewaarde niet was ingevuld.  Uit de reactie van het college bleek bij 173 indicatoren nog geen streefwaarde was opgenomen. Het college gaf daarop aan dat dit bij de Voorjaarsnota 2019 bij 83 indicatoren zou zijn opgelost.  Bij de overige 90 indicatoren geeft het college aan dat deze dan (nog) geen streefwaarden zullen bevatten, omdat:

  • streefwaarden niet worden ingevuld, omdat het een meetwaarde betreft;
  • indicatoren niet zijn ingevuld en dan ontbreken logischerwijs ook de streefwaarden;
  • streefwaarden na de Voorjaarsnota 2019 worden bepaald;
  • het BBV-indicatoren betreft.  

Uit onze analyse blijkt dat in de Begroting 2020 bij 134 indicatoren de streefwaarden niet (volledig) zijn ingevuld. Hieruit kunnen we wel concluderen dat het niet in de Voorjaarsnota 2019 en niet in de Begroting 2020 is gelukt is om de door het college beoogde slag te maken.

DMC geeft aan dat er wel stappen zijn gezet om de doelenboom te verbeteren. Zo worden bij het opstellen van de P&C-producten sessies georganiseerd met verschillende betrokken medewerkers uit de betreffende directies om de kwaliteit van de begroting - waaronder de doelenboom - te verbeteren. Het bespreken van de ontbrekende indicatoren en/of kwantitatieve gegevens in de doelenboom maakt onderdeel uit van deze sessies. DMC vraagt daarnaast de directies om bij de indicatoren waar nog geen realisatiecijfers beschikbaar zijn, wel streefwaarden op te nemen. Maar ook DMC constateert dat er, ondanks deze inspanningen, nog lege velden overblijven. DMC geeft tevens aan om bij de Voorjaarsnota 2020 verdere verbeteringen aan te brengen, voor wat betreft de niet-ingevulde indicatoren. Dit gebeurt gezamenlijk met medewerkers van de directies en medewerkers van DMC. 

Deelonderzoeken
De aanwezigheid van kwantitatieve informatie was in onze deelonderzoeken ook een toetsaspect. In tabel 2.3 staat ons samenvattende oordeel van onze deelonderzoeken van de vijf indicatoren.

Tabel 2.3 - Beoordeling aanwezigheid van kwantitatieve gegevens bij de indicatoren uit onze deelonderzoeken op basis van de Begroting 2020
IndicatorAlle kwantitatieve gegevens zijn ingevuld
Percentage statushouders dat binnen drie jaar na instroom in de Amsterdamse Aanpak Statushouders uitstroomt uit de uitkering.-
Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 meter.+
Minimaal aantal ton verwijderd drijf- en grofvuil.+
Aantal nieuwe internationale bedrijven in de metropoolregio.+
Aantal mensen met een uitkeringsschuld.-
+ = de beoordeling is voldoende
+/- = de beoordeling is voldoende met mogelijkheid tot verbetering
- = de beoordeling is onvoldoende 

Bij drie indicatoren is alle benodigde kwantitatieve informatie ingevuld. Hierdoor is voor de lezer helder wat de gemeente heeft bereikt en in de toekomst wil bereiken. Bij de indicatoren hulp aan statushouders en uitkeringsschuld ontbreekt een peilwaarde, waardoor het niet mogelijk is te beoordelen hoe het gerealiseerde percentage en de nagestreefde percentages voor de jaren daarna zich verhouden tot historische prestaties.

Actualisatie bevindingen over de aanwezigheid van kwantitatieve informatie op basis van Begroting 2020

De indicator hulp aan statushouders is in de Begroting 2020 geheel vervangen door een nieuwe indicator.  Wat betreft de aanwezige kwantitatieve informatie zien we geen verschil ten opzichte van de oude indicator. In de indicator is, net als bij de oude indicator, geen peilwaarde opgenomen. Ook is geen streefwaarde ingevuld. Onze bevinding dat de kwantitatieve gegevens voor deze indicator niet volledig zijn ingevuld, blijft daarmee ongewijzigd. De formuleringen van de indicatoren voor drijf- en grofvuil en plusnet voetganger zijn in de Begroting 2020 onveranderd gebleven. Bij beide indicatoren zijn nu wel alle kwantitatieve gegevens ingevuld. Dat is een verbetering ten opzichte van de Begroting 2019, toen de streefwaarde nog ontbrak. Voor de indicator drijf- en grofvuil is de peilwaarde geactualiseerd.

Tot slot viel het ons op dat de kwantitatieve gegevens bij twee indicatoren in de verschillende versies van de doelenboom niet-consistent zijn en van rapportage tot rapportage veranderen. Zo ontbrak in de doelenboom bij de Voorjaarsnota 2019 de indicator uitkeringsschuld in het geheel. Hier was een andere indicator opgenomen, maar werden wel de kwantitatieve gegevens behorende bij de oorspronkelijke indicator aangeven waarbij dan wel weer de peilwaarde, het realisatiecijfer (2017) en de streefwaarde voor 2018 ontbraken. De betrokken ambtenaren kunnen niet aangeven waarom deze cijfers bij de indicator opgenomen in de Voorjaarsnota 2019 ontbraken, terwijl de benodigde informatie hiervoor wel al beschikbaar was.  Bij de indicator internationale bedrijven waren de peilwaarde en streefwaarden in de eerste versie van de doelenboom (versie d.d. 14 december 2018) anders dan in de latere Voorjaarsnota 2019 en Begroting 2020. Waarom deze waarden verschillen, is niet bekend.  Ook in de Duisenbergrapportage over vestigingsbeleid werd in 2017 al geconstateerd dat de bijstellingen van streefwaarden in de Begroting 2017 niet in alle gevallen werd doorgevoerd in het Jaarverslag 2016. 

Referenties naar andere documenten

In de Begroting 2020 wordt bij niet (volledig) ingevulde indicatoren ook vaak gerefereerd aan andere documenten. Zo kondigt het college in reactie op de motie Inzichtelijk maken van uw ambities aan dat er in de Begroting 2020 bij twintig indicatoren geen indicator en streefwaarden zullen worden ingevuld. Bij deze indicatoren zal worden verwezen naar vijf andere rapportages. Volgens het college is het in deze gevallen niet mogelijk om een zinvolle meetbare indicator te benoemen. 

In de gemeentelijke begroting moet op hoofdlijnen, maar wel transparant en inzichtelijk, zijn opgenomen wat de gemeente wil bereiken en op welke manier zij dit wil gaan doen. Het refereren aan andere documenten vormt daarbij een risico. Voor het risico dat verwijzingen naar andere documenten het inzicht verminderen, hebben we ook al in eerdere rapporten gewaarschuwd.

Refereren aan andere documenten in oude rekenkamerrapporten

Ook in onze oudere rapporten uit 2006 en 2007 schreven we dat we belangrijk vonden dat de belangrijkste geplande en uitgevoerde activiteiten worden vermeld in de jaarstukken en dat niet moet worden verwezen naar een ander document. Een verwijzing naar een ander document leidt ertoe dat de jaarstukken niet zelfstandig leesbaar zijn en daarmee de informatiewaarde verliezen. 

Wij vinden het daarom van belang dat als gerefereerd wordt aan een ander document waar meer informatie over de indicatoren beschikbaar moet zijn, dat snel, eenvoudig en duidelijk te zien is wat de indicator is en welke waarden daarbij horen. We hebben dit beoordeeld voor de referenties uit de Begroting 2020.

We constateren dat de gemeente in de Begroting 2020 twee soorten verwijzingen hanteert:

  • Verwijzen naar bestaande documenten. Verwijzing naar een ander rapport omdat daarin de indicatoren met streefwaarden zijn opgenomen.
  • Verwijzen naar nog op te stellen documenten. De indicatoren of streefwaarden moeten ten tijde van het opstellen van de Begroting 2020 nog worden bepaald en zullen in de nog op te stellen rapportages worden opgenomen.

We hebben eerst gekeken of de betreffende documenten snel en eenvoudig te vinden zijn. Dit deden we door allereerst de zoekfunctie bij raadsinformatie te raadplegen. Als dat niets opleverde, zochten we op website van Onderzoek Informatie en Statistiek van de gemeente Amsterdam en ten slotte via algemene zoekmachines. Als we documenten dan nog niet hadden gevonden, beoordeelden we dat het betreffende document niet eenvoudig te vinden is.

In het geval we het betreffende document wel hebben kunnen vinden, toetsten we of de indicatoren in het document duidelijk zijn terug te vinden en of deze zijn voorzien van de noodzakelijke kwantitatieve informatie. Om dit te achterhalen, hebben we het betreffende document op hoofdlijnen inhoudelijk bekeken.

× Download Bijlage 1 Onderstaande tabel laat zien bij hoeveel indicatoren gerefereerd wordt aan een ander document. Ook geeft de tabel weer of hierbij sprake is van verwijzen naar bestaande of nog op te stellen documenten. Tevens laat de tabel zien dat het regelmatig voorkomt dat bij meerdere indicatoren × Download Bijlage 2 aan hetzelfde document wordt gerefereerd. De details van onze bevindingen zijn opgenomen in de hiernaast te downloaden Excelbestanden.

Tabel 2.4 - Referenties aan andere documenten in Begroting 2020
Verwijzingen naarAantal indicatorenAantal documentenVindplaats document eenvoudigIndicatoren zichtbaar
Bestaande documenten11650
Nog op te stellen documenten261230

Bron: Gemeente Amsterdam, Begroting 2020. Tellingen Rekenkamer Metropool Amsterdam.

In totaal constateren wij dat in de Begroting 2020 bij 37 indicatoren gerefereerd wordt aan een ander document. Voorbeelden van documenten waarnaar verwezen werd, zijn: Jaarstukken Veiligheidsregio Amsterdam-Amstelland, Jaarstukken Omgevingsdienst Noordzeekanaalgebied, Agenda Autoluw, Actieplan Schone Lucht, Agenda Taxi, Buurtteams Zorg, Uitvoeringsplan Afval 2020-2025 en de Routekaart Amsterdam Klimaat Neutraal.

Het gaat 11 keer om een verwijzing naar een bestaand document en 26 keer om een verwijzing naar een nog op te stellen document. In totaal zijn het 18 documenten waaraan gerefereerd wordt, dat zijn 6 documenten voor een verwijzing en 12 documenten waarbij de formulering van de indicator vooruitgeschoven wordt. De bestaande documenten zijn
- op een na - goed te vinden. Wel blijkt dat in de betreffende documenten vervolgens niet eenvoudig te vinden is naar welke indicator wordt verwezen. Een voorbeeld is de verwijzing naar de jaarstukken van de veiligheidsregio Amsterdam-Amstelland. Bij meerdere doelen en activiteiten uit het programma Veiligheid wordt daarnaar verwezen. De reden die daarvoor wordt aangegeven, is dat in de jaarstukken van de Veiligheidsregio al gerapporteerd wordt over de indicatoren. We constateren echter dat de jaarstukken van de Veiligheidsregio niet meteen duidelijkheid bieden over de realisatie van de beoogde doelen en zeker niet specifiek voor de realisatie binnen de gemeente Amsterdam. De rapportage van de Veiligheidsregio heeft immers betrekking op de gehele regio Amsterdam-Amstelland. Overigens is er in dit geval vanuit de gemeenteraad ook gevraagd waarom er geen indicatoren waren opgenomen. 

Van de nog op te stellen documenten waren er op het moment van dit onderzoek slechts 3 te vinden. Bij 5 van de 9 documenten die onvindbaar zijn, is dit te verklaren omdat de documenten nog niet gereed zijn.

DMC heeft geen beleid of richtlijnen opgesteld waarin duidelijk is gemaakt hoe er moet worden omgegaan met verwijzingen naar andere documenten. Wel is bij het opstellen van de doelenboom benoemd dat in enkele gevallen verwezen kan worden naar andere rapportages. In de praktijk geldt dat als een cijfer nog niet beschikbaar is, DMC wel aan de directie vraagt een verwijzing op te nemen. DMC benadrukt dat de directies inhoudelijk verantwoordelijk zijn voor de aangeleverde informatie.  DMC voert zelf geen controles uit op de aanwezigheid van de relevante indicatoren in de documenten waarnaar verwezen wordt. Volgens DMC is dit ook geen taak van DMC, "net als de controle op taalfouten." 

Wij constateren dat geen van de referenties aan andere documenten uiteindelijk zorgt voor duidelijkheid over de indicatoren of de waarde daarvan. Bij de indicatoren waarbij sprake is van een verwijzing naar een ander document zien we dat dit document vaak nog wel eenvoudig te vinden is, maar dat de indicator en de kwantitatieve informatie niet te vinden zijn. Vaak heeft het hele of een groot deel van het document betrekking op de indicator. Dit vraagt om een eigen interpretatie en is te weinig specifiek: in feite wordt dan van de lezer gevraagd het zelf uit te zoeken.

Conclusie

We constateren dat de formulering van de indicatoren redelijk duidelijk en specifiek is. Dit zorgt ervoor dat een goede monitoring van de realisatie van de indicatoren in theorie mogelijk is. We zien echter dat dit in de praktijk in veel gevallen niet mogelijk is, omdat blijkt dat hiervoor de noodzakelijke kwantitatieve informatie ontbreekt. Dit is een voortzetting van problemen die we ook al eerder in andere rekenkameronderzoeken constateerden. De formulering van de indicatoren is wel voldoende duidelijk en specifiek om te kunnen monitoren, maar dat betekent niet dat het altijd ondubbelzinnig te begrijpen is wat er wordt bedoeld met de indicator. We gaan hier in hoofdstuk 5 verder op in.

Duidelijk is dat bij het overgrote deel van de indicatoren de voor monitoring noodzakelijke kwantitatieve informatie ontbreekt. In de Begroting 2020 blijkt slechts 28% van de indicatoren volledig te zijn voorzien van kwantitatieve informatie. Soms is er een plausibele verklaring waardoor het niet mogelijk is om deze informatie op te nemen. Desondanks willen wij benadrukken dat het streven moet zijn om alle indicatoren te voorzien van de informatie waarmee monitoring mogelijk wordt. We concluderen ook dat er in de Begroting 2020 meermaals wordt gerefereerd aan andere documenten als er geen indicatoren zijn ingevuld. In de betreffende documenten is niet op eenvoudige en eenduidige wijze informatie te vinden over de betreffende indicator.

Betrouwbaarheid

Bruikbare indicatoren moeten niet alleen voorzien zijn van kwantitatieve informatie om bruikbaar te zijn. Het is minstens zo belangrijk dat de gepresenteerde kwantitatieve informatie ook betrouwbaar is. Dat wil zeggen: de indicator moet ook meten wat op basis van de formulering gemeten zou moeten worden. Dit leidt ertoe dat we ook verwachten dat er een betrouwbare bron ten grondslag ligt aan de kwantitatieve informatie. Bij deze metingen moet uiteraard sprake zijn van betrouwbare informatie, zodat de indicator waardevolle informatie oplevert. Voor de beoordeling van de betrouwbaarheid van de indicator hebben we de volgende toetsapecten bepaald:

  • De gepresenteerde kwantitatieve informatie is betrouwbaar;
  • De keuze voor de peilwaarde is onderbouwd;
  • De invulling van de indicator is consistent.

De beoordeling van de betrouwbaarheid is beperkt tot de bevindingen uit de deelonderzoeken. Het beoordelen van de betrouwbaarheid vergt immers meer diepgaand onderzoek dan mogelijk is uitsluitend op basis van de informatie uit de begroting. Daarnaast hebben wij in oude onderzoeken en de uitgebrachte rapportages in het kader van de methode Duisenberg bekeken of er nog relevante bevindingen zijn over de betrouwbaarheid van indicatoren.

Hieronder vatten we ons oordeel over de betrouwbaarheid van de indicatoren samen. De indicator hulp aan statushouders is - na de publicatie van ons onderzoek - in de Begroting 2020 gewijzigd.  De beoordeling van de betrouwbaarheid heeft voor de indicator hulp aan statushouders betrekking op de oude indicator en niet op de indicator zoals die voor het eerst in de Begroting 2020 is opgenomen. In tabel 3.1 hebben we de bevindingen over de betrouwbaarheid van de indicatoren samengevat.

Tabel 3.1 - Beoordeling betrouwbaarheid van de indicatoren op basis van de Begroting 2020
NormGepresenteerde kwantitatieve informatie is betrouwbaarKeuze voor peilwaarde is onderbouwdInvulling is consistent
Percentage statushouders dat maatschappelijke begeleiding volgt en dat de participatieverklaring ondertekent in het kader van de inburgering.--+/-
Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 meter.+++
Minimaal aantal ton verwijderd drijf- en grofvuil.+-+
Aantal nieuwe internationale bedrijven in de metropoolregio.+++
Aantal mensen met een uitkeringsschuld.+-+
+ = de beoordeling is voldoende
+/- = de beoordeling is voldoende met mogelijkheid tot verbetering
- = de beoordeling is onvoldoende

Gepresenteerde kwantitatieve informatie

We constateren dat de indicatoren juist en volledig zijn ontleend aan een betrouwbare bron. Voor deze beoordeling hebben we gekeken of de kwantitatieve gegevens uit de indicator aansluiten bij de bron en of de bron op zichzelf betrouwbaar is. Uit de tabel blijkt dat we de bron bij vier van de vijf indicatoren als betrouwbaar beschouwen.

De indicator hulp aan statushouders is daarop een uitzondering. We constateerden dat er voor deze bron wel een percentage wordt genoemd, maar dat niet valt te reconstrueren op welke bron dit percentage is gebaseerd en hoe dit tot stand is gekomen.  Vermeldenswaardig is dat ook in de rapportages van de methode Duisenberg werd geconstateerd dat de opgenomen waarde niet correct was bij een indicator over parkeren.

Verkeerde waarde bij de indicator

Uit de Duisenbergrapportage over parkeren uit 2017 bleek dat bij de indicator percentage gemiddelde bezettingsgraad van parkeerplaatsen in parkeerplangebied de opgenomen realisatiewaarde niet correct was.

DMC onderzoekt en beoordeelt de betrouwbaarheid van de bij de indicatoren opgenomen data niet. Ook kan DMC niet aangeven of andere organisatieonderdelen daar onderzoek naar doen. DMC geeft ook aan dat er geen aanleiding is om te veronderstellen dat cijfers onjuist zijn. Daarvoor worden door DMC meerdere redenen aangedragen. Ten eerste is de betrouwbaarheid van de gerapporteerde cijfers onderdeel van de kwaliteitsborging bij de totstandkoming van de broninformatie bij de directies. Ten tweede zegt DMC dat de cijfers voor de indicatoren veelal afkomstig zijn van OIS.  DMC verwacht dat deze cijfers zonder meer voldoende betrouwbaar zijn. Ten derde signaleert DMC dat de raadsvragen die betrekking hebben op de data behorende bij de indicatoren snel door de directies kunnen worden beantwoord. Ook dat is voor DMC een indicatie dat de cijfers in de doelenboom over het algemeen betrouwbaar en reproduceerbaar zijn. 

Onderbouwing peilwaarde

Met een peilwaarde worden de gerapporteerde prestaties en streefwaarden voor de toekomst in (historisch) perspectief geplaatst. Een goed gekozen peilwaarde maakt inzichtelijk of, bijvoorbeeld, een streefwaarde ambitieus is (of juist niet). Om een oordeel te geven over de onderbouwing van de peilwaarde hebben we gekeken of de begroting een onderbouwing biedt of dat de ambtelijke organisatie een onderbouwing kon geven voor de keuze van de peilwaarde.

Op basis van de deelonderzoeken zien we dat een gedegen onderbouwing voor de peilwaarde ontbreekt bij drie van de vijf onderzochte indicatoren. In het voorgaande hoofdstuk zagen we dat dat bij twee van de vijf indicatoren - hulp aan statushouders en uitkeringsschuld - de peilwaarde helemaal niet was opgenomen. Voor de indicator drijf- en grofvuil is weliswaar een waarde opgenomen, maar volgens betrokken ambtenaren had deze geactualiseerd moeten worden.  Bij de andere twee indicatoren - internationale bedrijven en plusnet voetganger - werd een voldoende onderbouwing gegeven voor de gekozen peilwaarde. Ook in eerdere rekenkamerrapporten constateerden we dat de onderbouwing van de peilwaarde onvoldoende was.

Onderbouwing peilwaarde in oude rekenkamerrapporten

In 2007 constateerden wij dat de nulmetingen (vergelijkbaar met de huidige peilwaarde / het huidige peiljaar) geen goede basis waren voor het beoordelen van de realisatie van de doelstellingen. We gaven aan dat de nulmetingen onvoldoende verifieerbaar, betrouwbaar of juist waren. De aanbeveling luidde dan ook om ervoor te zorgen dat de nulmeting gebaseerd is op betrouwbare gegevens. We zeiden toen ook dat als de cijfers niet beschikbaar waren, er dan maar beter helemaal geen cijfers moesten worden opgenomen. Wel pleitten we ervoor om voor de meeste relevante doelen - bijvoorbeeld de doelen die rechtstreeks voortvloeiden uit het coalitieakkoord - te zorgen voor betrouwbare kwantitatieve nulmetingen. 

Consistente invulling

Een indicator bestaat uit verschillende elementen: een omschrijving, peilwaarde, realisatiewaarde en streefwaarden. Bij een betrouwbare indicator zijn deze verschillende elementen op dezelfde definitie gebaseerd. Dat wil zeggen: de streefwaarden meten precies hetzelfde als de realisatiewaarde en de peilwaarde, en dit alles komt overeen met de omschrijving van de indicator. We constateren dat de invulling consistent is bij de vijf onderzochte indicatoren.

Wel was dit niet geheel te beoordelen voor het onderzoek naar de indicator hulp aan statushouders, omdat daar alleen de streefwaarde was opgenomen en we daarom alleen deze op een zinnige manier konden beoordelen (en vergelijken met de omschrijving).  Voor dit (beperkte) deel van de indicator was sprake van consistentie.

Conclusie

Bij vier van de vijf indicatoren zijn we (redelijk) positief over de betrouwbaarheid van de opgenomen indicatoren. In deze gevallen constateerden we dat de wijze waarop de cijfers tot stand waren gekomen reproduceerbaar was, en dat voor deze totstandkoming een betrouwbare bron was gebruikt. Bij de peilwaarden was dit beeld minder positief: bij drie van de vijf indicatoren stelden we vast dat deze goed waren onderbouwd. De indicator hulp aan statushouders is de belangrijkste uitzondering in onze vijf deelonderzoeken. Bij deze indicator viel het gerapporteerde percentage helemaal niet meer te reproduceren of te herleiden tot een betrouwbare bron. Ook ontbrak voor deze indicator een peilwaarde.

Hoewel deze uitkomsten van de deelonderzoeken op het eerste gezicht positief ogen (vier van de vijf onderzochte indicatoren zijn immers overwegend betrouwbaar), is het de vraag of dit gerechtvaardigd is. Als onze selectie van indicatoren representatief is voor de gehele begroting, dan zou dit betekenen dat 20% van de weergegeven indicatoren niet betrouwbaar is. Of dit zo is kunnen wij niet bepalen, maar ook in de Duisenbergrapportages is geconstateerd dat het soms schort aan juiste cijfers. Dit wijst er in ieder geval op dat onbetrouwbare indicatoren vaker voorkomen.

Relevantie

Een goede indicator geeft een relevant inzicht in de uitvoering van een bepaalde activiteit of de mate waarin een bepaald doel is bereikt. Maar een goede indicator moet ook logisch samenhangen met het bovenliggende beleidsdoel: de plaats in de doelenboom moet vanzelfsprekend zijn. De beoordeling van de relevantie is beperkt tot de bevindingen uit de deelonderzoeken. Het beoordelen van de relevantie vergt immers meer diepgaand onderzoek dan op basis van uitsluitend de informatie uit de begroting mogelijk is. We hebben voor dit deel wel gekeken welke bevindingen we eerder hebben gedaan over de relevantie van de indicatoren en of dit onderdeel terugkwam in de rapportages van de commissie Duisenberg. Voor de beoordeling van de relevantie van de indicatoren hebben we de volgende toetspunten gehanteerd:

  • De indicator geeft relevant inzicht in de uitgevoerde activiteit of het nagestreefde doel;
  • De indicator heeft een logische samenhang binnen de doelenboom.

Hieronder vatten we ons oordeel over de relevantie van de indicatoren samen.

Tabel 4.1 - Beoordeling relevantie van de indicatoren op basis van de Begroting 2019
NormInzicht in doel of activiteitSamenhang met bovenliggend doel
Percentage statushouders dat maatschappelijke begeleiding volgt en dat de participatieverklaring ondertekent in het kader van de inburgering.-+
Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 meter.+/--
Minimaal aantal ton verwijderd drijf- en grofvuil.-+/-
Aantal nieuwe internationale bedrijven in de metropoolregio.++
Aantal mensen met een uitkeringsschuld.--
+ = de beoordeling is voldoende
+/- = de beoordeling is voldoende, maar we zien wel mogelijkheid tot verbetering
- = de beoordeling is onvoldoende

Inzicht in doel of activiteit

Bij een relevante indicator vat de indicator de essentie van de activiteit of het nagestreefde doel. De definitie van de indicator speelt hierbij een belangrijke rol. Een precies gehanteerde definitie is namelijk niet alleen van invloed op de gerapporteerde telling, maar bepaalt ook hoe het gerapporteerde cijfer vervolgens geïnterpreteerd kan (of moet) worden. Afhankelijk van wat een lezer wil weten (of het verhaal dat de ambtelijke organisatie wil vertellen) bepaalt de precieze definitie die is gebruikt uiteindelijk de relevantie van de indicator. We hebben voor de beoordeling van dit onderdeel drie onderzoeksactiviteiten uitgevoerd. We hebben 1) naar het oordeel van de betrokken medewerkers gevraagd, 2) relevante beleidsdocumenten geraadpleegd, en 3) vanuit de praktijk naar de indicator gekeken. Opvallend is dat de betrokken ambtenaren in de gesprekken die wij hebben gevoerd in dit onderzoek vaak kritisch waren op de gekozen indicatoren en dat ze zich bij de uiteindelijke keuze weinig gehoord voelden.

Betrokken ambtenaren kritisch op indicatoren

Bij alle deelonderzoeken constateerden we dat de betrokken medewerkers kritisch waren op hun eigen indicator. Als we het proces van totstandkoming van de doelenboom dat door de betrokken medewerkers tijdens de gesprekken werd geschetst beschouwen, dan krijgen we de indruk dat de betrokkenheid van de afdeling bij het totstandkomen van de indicatoren een aandachtspunt is. Ook DMC geeft aan dat er per programma verschillen zichtbaar zijn in de mate waarin indicatoren worden afgestemd met betrokkenen.  Vanuit het projectteam dat verantwoordelijk was voor het opstellen van de doelenboom zijn bijeenkomsten georganiseerd om de uitgangspunten bij het formuleren van doelen, activiteiten en indicatoren toe te lichten. De verantwoordelijkheid van het aanleveren van de indicatoren ligt formeel bij de directies en de totstandkoming van de gehele doelenboom wordt een gezamenlijke verantwoordelijkheid genoemd.  De betrokken medewerkers geven bij vier van de vijf indicatoren aan niet betrokken te zijn geweest bij het bepalen van de indicator. In het geval van de indicator hulp aan statushouders geven betrokken ambtenaren bij het beleid en de uitvoering aan dat zij in sommige gevallen wel een rol hebben gespeeld bij het voorstellen van indicatoren, maar dat de uiteindelijke keuze niet door hen is gemaakt. Bij de indicator drijf- en grofvuil is aangegeven dat de afdeling niet betrokken is geweest bij het formuleren en handhaven van de indicator in de doelenboom waarmee onvoldoende interne afstemming heeft plaatsgevonden.  Ook bij de indicator uitkeringsschuld bleek dat de inhoudelijk ambtenaar geen rol had gehad bij het opstellen van de indicator. Deze indicator zou nog voortkomen uit oud beleid. Inmiddels zou een alternatieve indicator beter aansluiten bij het huidige beleid.  Bij de indicator plusnet voetganger waren de inhoudelijke beleidsmedewerkers ook niet betrokken geweest, maar konden ze zich wel goed vinden in de indicator als meetinstrument voor het voetgangersbeleid (als activiteit). De relatie met het doel waarvoor de indicator daadwerkelijk werd gebruikt, zagen ze echter niet.  Door het gebrek aan inhoudelijke afstemming en betrokkenheid van ambtenaren ontstaat het risico dat de indicatoren onvoldoende relevant zijn om het beoogde doelen of de uit te voeren activiteiten te kunnen meten.

Bij vier van de vijf indicatoren vinden wij dat er niet voldoende sprake is van een relevante indicator. Alleen bij de indicator internationale bedrijven vinden wij dat de indicator goed aansluit bij de activiteit. Dat neemt niet weg dat ook deze indicator duidelijk illustreert dat de keuze voor een definitie erg van belang is voor het beeld dat ontstaat en de relevantie van de weergegeven informatie. 

Bij de indicator hulp aan statushouders komt naar voren dat het voor een goede inburgering essentieel is dat statushouders de taal beheersen en dat zij zoveel mogelijk gelijktijdig participeren in de samenleving. Over de wijze waarop dat gemeten moet worden, lijken de meningen verdeeld. Enerzijds is men tevreden met de indicator waar het ging om het volgen van maatschappelijke begeleiding en de ondertekening van de participatieverklaring. Anderzijds komt naar voren dat het meten van een duurzame uitstroom veel relevanter is.  Uiteindelijk is, na het uitbrengen van ons deelonderzoek, de indicator in de Begroting 2020 geheel aangepast en meet deze nu de uitstroom naar werk.

In het geval van de indicator drijf- en grofvuil blijkt dat de ambtelijke organisatie niet stuurt op de indicator en de indicator vooral ziet als 'meetwaarde'. De hoeveelheid verwijderd vuil is immers afhankelijk van het vuil dat ze tegenkomen. De indicator wordt daarom ook niet relevant geacht. Veel belangrijker vindt men de schoonheidsgraad: een meting van het aanwezige drijfvuil in het water. Daarnaast is ook de keuze voor het verzorgingsgebied relevant, zo beheert Waternet niet al het water in Amsterdam, waardoor er ook gebieden zijn die buiten het meetgebied van de indicator vallen. 

Bij de indicator plusnet voetganger zien we dat de indicator een redelijk goed inzicht biedt in het voetgangersbeleid, maar plaatsen we ook de nodige kanttekeningen. Zo is het gezien de beperkte ruimte bij met name de straten in het Centrum al een hele stap als het voetpad verbreed wordt van bijvoorbeeld van 0,90 meter naar 1,50 meter. Dit voetpad voldoet in dat geval nog steeds niet aan een minimale doorloopruimte van 1,80 meter, terwijl er wel sprake is van een enorme vooruitgang.  Belangrijk wat betreft de relevantie merken we verder op dat de betrokken ambtenaren aangeven de meting relevant te vinden, maar dat de indicator niet goed past bij het doel waarvoor deze was opgenomen: het zorgen voor 'meer ruimte voor leven en spelen' op straten. 

De indicator uitkeringsschuld is niet eenduidig te interpreteren waardoor sprake is van een onvoldoende relevante indicator. Dit komt allereerst doordat er veel uiteenlopende factoren van invloed kunnen zijn op het verloop van het aantal mensen met een uitkeringsschuld dat door de indicator wordt gemeten. Zonder informatie over de invloed van deze factoren is de indicator volgens de betrokken ambtenaren eigenlijk niet te interpreteren. Dit wordt met name geïllustreerd door het feit dat de indicator ook mensen meetelt die leenbijstand hebben ontvangen. 

Logische samenhang

In de deelonderzoeken hebben we vier activiteitenindicatoren en één doelindicator (plusnet voetganger) beoordeeld. Het beeld of de indicatoren een logische samenhang laten zien met de bovenliggende doelen in de doelenboom is wisselend. Bij twee indicatoren - hulp aan statushouders en internationale bedrijven - zien we een logische samenhang tussen de indicator en de plek in de doelenboom. De indicator drijf- en grofvuil past op zich ook logisch bij het bovenliggende doel. We plaatsen er wel een kanttekening bij, namelijk dat het verwijderen van drijfvuil een logische samenhang heeft met het doel, maar het verwijderen van grofvuil niet.  Bij de indicator plusnet voetganger zien we, zoals hiervoor ook al opgemerkt, onvoldoende samenhang tussen de indicator de plek in de doelenboom. De indicator biedt inzicht in de minimale doorloopruimte op het plusnet voetganger. Terwijl het doel gericht is op het bieden van meer ruimte voor leven en spelen op straten in het algemeen. Daarnaast blijkt uit de opgenomen activiteit(indicatoren) ook niet welke activiteiten de gemeente zal uitvoeren om de minimale doorloopruimte voor de voetgangers te realiseren.  Voor de indicator uitkeringsschuld constateerden we eerder al dat deze moeilijk te interpreteren is. Dit betekent ook dat er geen duidelijk relatie kan worden gelegd met het bovenliggende doel in de doelenboom.  We constateren dat uit onze vijf deelonderzoeken blijkt dat de samenhang tussen de indicator, activiteit en het bovenliggende doel in de doelenboom niet altijd even logisch is.

We constateren dat er binnen de ambtelijke organisatie geen inhoudelijke eindbeoordeling plaatsvindt over het feit of het geheel van indicatoren een samenhangende en relevante doelenboom oplevert. Een samenhangende doelenboom met relevante indicatoren vergt een proces waarbij er sprake is van goed samenspel tussen inhoudelijke kennis van de betrokken ambtenaren over het relevante beleidsveld en de bijbehorende (afzonderlijke) indicatoren en regie op het geheel van de doelenboom. We begrijpen dat de doelenboom in 2018 is opgesteld onder regie van DMC. Gezamenlijk met de betrokken directies werd de doelenboom vormgegeven, waarbij het uitgangspunt was om de doelenboom te voorzien van SMART-formuleringen van doelen, activiteiten en indicatoren, en een logische samenhang daartussen. DMC geeft daarbij aan te sturen op het geheel van indicatoren en het verbeteren van de kwaliteit van de P&C-producten. De directies waren op hun beurt verantwoordelijk voor de inhoud van de tekst van het programma en de bijbehorende doelenboom, en waren collectief verantwoordelijk voor het geheel. DMC stelt geen zicht te hebben of dit proces met gedeelde verantwoordelijkheden een voldoende relevante doelenboom met indicatoren heeft opgeleverd die de uiteenlopende activiteiten en doelen van de gemeente adequaat beschrijft. Wel ziet DMC verschillen tussen de programma's, waarbij sommige programma's een meer relevante doelenboom laten zien dan andere programma's. 

De gemeenteraad vraagt op meerdere momenten aandacht voor de kwaliteit van de indicatoren. Het gaat dan bijvoorbeeld om de koppeling met de doelen uit het coalitieakkoord, de houdbaarheid op de lange termijn van de indicatoren, de betrouwbaarheid van de indicatoren of de samenhang tussen de indicatoren. Het college volgt deze verzoeken van de gemeenteraad deels op, maar geeft ook meermaals aan dat het de gemeenteraad vrij staat om indien gewenst amendementen in te dienen op de indicatoren. 

Samenhang in doelenboom in eerdere rapporten ook relevant

We gaven in 2007 aan dat de doelstellingen, indicatoren en activiteiten in logische samenhang gepresenteerd moeten worden. We zagen dat de aansluiting tussen doel, activiteit en indicatoren niet altijd op orde was. Daarnaast kwam het voor dat de indicatoren onvoldoende de hoofddoelstelling afdekten. Om dit soort effecten te voorkomen deden we de aanbeveling om een doelenboom op te stellen. Hiermee zouden dergelijke inconsistenties aan het licht gebracht worden.  Ook uit rapportages van de commissie Duisenberg komt meermaals naar voren dat de samenhang tussen doelen, activiteiten en indicatoren ontbrak. Zo werd in de Duisenbergrapportage over participatie uit 2017 weinig samenhang tussen doelen, activiteiten en bijbehorende indicatoren geconstateerd. Aanbevolen werd dat dit transparanter en logischer moest worden, waardoor het begrijpelijker zou worden. 

Conclusie

Uit onze deelonderzoeken blijkt dat vier van de vijf opgenomen indicatoren niet of te weinig relevant zijn. Deze vier indicatoren bieden niet het gewenste relevante inzicht in de activiteiten of nagestreefde doelen. Opvallend is dat door ons gesproken betrokken ambtenaren veelal kritisch waren op de indicatoren. Verder blijkt ook dat de samenhang niet altijd op orde is tussen de indicatoren en bovenliggend doel of activiteit. De noodzaak voor een logisch samenhangend geheel van indicatoren kwam ook al herhaaldelijk terug in onze eerdere onderzoeken en wordt tevens geadresseerd in de rapportages die zijn uitgebracht in het kader van de Duisenbergmethode. We constateren daarnaast dat er geen duidelijke eindverantwoordelijkheid belegd is voor de relevantie van het geheel aan indicatoren in de doelenboom.

Begrijpelijkheid

Een bruikbare indicator moet ook begrijpelijk zijn. Een begrijpelijke indicator staat niet op zichzelf, maar vormt een helder geheel met omliggende tekst waarin uitleg en duiding van de indicator wordt gegeven. We hebben dit in brede zin beoordeeld door bij dertig indicatoren uit de Begroting 2020 te bekijken of er in de omliggende tekst een toelichting werd gegeven op de indicator. Daarnaast hebben we dit bij onze deelonderzoeken meer gedetailleerd gedaan door specifiek te bekijken of:

  • er uitleg is gegeven over het belang en/of de betekenis van de indicator;
  • er streefwaarden en de ontwikkeling van de indicator zijn geduid;
  • duidelijk is hoeveel geld met deze activiteit is gemoeid, en
  • of de tekst bruikbaar is voor een geïnteresseerde burger om de vragen die bij hen leven beantwoord te krijgen (bij drie van de vijf deelonderzoeken).

De bevindingen uit de eerste drie deelonderzoeken (de indicator hulp aan statushouders, drijf- en grofvuil en plusnet voetganger) waren nog gebaseerd op de Begroting 2019. Deze hebben wij voor deze overkoepelende rapportage geactualiseerd naar de Begroting 2020 (zie kader). De deelonderzoeken over de indicator internationale bedrijven en uitkeringsschuld zijn aanvankelijk al gebaseerd op de Begroting 2020 waardoor een actualisatie van de bevindingen niet van toepassing is.

Actualisatie bevindingen over de begrijpelijkheid op basis van Begroting 2020

De indicator hulp aan statushouders is in de Begroting 2020 geheel vervangen door een nieuwe indicator.  Wat betreft de begrijpelijkheid wijkt ons oordeel over de begrijpelijkheid op basis van de Begroting 2020 niet af van onze oorspronkelijke bevindingen. Op basis van de Begroting 2019 kwamen we in het deelonderzoek tot de conclusie dat de indicator vrijwel niet werd toegelicht in de begroting. In de Begroting 2020 wordt wel enige informatie gegeven over welke hulp het college statushouders biedt.  Echter wordt uit deze informatie niet duidelijk wat de Amsterdamse Aanpak Statushouders precies inhoudt.  Ook is niet op te maken wat de kosten van de Amsterdamse Aanpak Statushouders zijn. Over de streefwaarden en ontwikkeling van de indicator staat in de Begroting 2020 niet expliciet iets vermeld. Wel is opgenomen dat de gemeente Amsterdam de ambitie heeft dat iedere statushouder in Amsterdam na drie jaar volwaardig kan deelnemen aan de samenleving.  Hoe deze ambitie zich verhoudt tot de streefwaarde van 50% in de indicator, wordt niet duidelijk.

Met de Begroting 2020 is de indicator drijf- en grofvuil onveranderd gebleven. De teksten en genoemde beleidskaders bieden geen extra informatie om de indicator te kunnen duiden. De bevinding dat de begrijpelijkheid onvoldoende is, blijft voor de indicator daarmee onveranderd. De kosten worden, net als in de Begroting 2019, wel genoemd waarbij het bedrag is verhoogd naar € 5,9 miljoen. 

Voor de indicator plusnet voetganger is sprake van een afname van de begrijpelijkheid ten opzichte van de Begroting 2019. We concludeerden over de Begroting 2019 dat uit het programmaonderdeel Verkeer, vervoer en parkeren duidelijk werd dat voetgangers meer ruimte moeten krijgen in de stad. Hiervan is geen sprake meer in de tekst van de Begroting 2020. In de Begroting 2020 wordt nergens meer genoemd dat er ruimte voor voetgangers gecreëerd zal worden. Er staat alleen dat verkeersstromen in de stad veranderen, dat de gemeente werkt aan een autoluwe, leefbare en verkeersveilige stad en dat er betere fietsverbindingen moeten komen en meer ruimte voor fietsers.  In de Begroting 2020 is nu wel opgenomen dat de lasten om meer ruimte te maken voor fietsers, voetgangers en verblijfsruimte € 29,1 miljoen bedraagt.  Hoeveel hiervan specifiek beschikbaar is voor voetgangers, staat niet in de Begroting 2020.

Toelichting in Begroting 2020

We hebben de begrijpelijkheid van indicatoren in eerste instantie beoordeeld op basis van onze vijf deelonderzoeken. Vervolgens hebben we het beeld dat uit de deelonderzoeken kwam wat breder bekeken door bij dertig geselecteerde indicatoren te bekijken in hoeverre die indicatoren werden toegelicht in de omliggende tekst in de Begroting 2020.

In deze paragraaf geven we eerst inzicht in onze bevindingen uit de deelonderzoeken. Onderstaande tabel geeft ons samenvattende oordeel over de begrijpelijkheid van de indicatoren op basis van de Begroting 2020.

Tabel 5.1 - Beoordeling begrijpelijkheid van de indicatoren op basis van de Begroting 2020
NormUitleg belang/betekenis indicatorStreefwaarden en ontwikkeling zijn geduidDuidelijk hoeveel geld met activiteit is gemoeid
Percentage statushouders dat binnen drie jaar na instroom in de Amsterdamse Aanpak Statushouders uitstroomt uit de uitkering.+/---
Het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 meter.--+/-
Minimaal aantal ton verwijderd drijf- en grofvuil.--+/-
Aantal nieuwe internationale bedrijven in de metropoolregio.+/---
Aantal mensen met een uitkeringsschuld.+/---
+ = de beoordeling is voldoende+/- = de beoordeling is voldoende met mogelijkheid tot verbetering- = de beoordeling is onvoldoende

Uit de tabel blijkt dat de begrijpelijkheid van de indicator op basis van onze bevindingen uit de deelonderzoeken onvoldoende is. Hieronder gaan we in op de belangrijkste bevindingen.

Belang van de indicator

We constateren dat het bij alle indicatoren ontbreekt aan een heldere toelichting op het belang en de betekenis van de indicator. Dit is met name lastig, omdat bij de formulering van de indicatoren vaak termen worden gebruikt die technisch zijn, en dat zonder voorkennis niet duidelijk is wat er gemeten wordt. Hierdoor is het onduidelijk voor de lezer hoe er precies geteld wordt en hoe de cijfers geïnterpreteerd moeten worden. Bij drie van de vijf indicatoren (hulp aan statushouders, internationale bedrijven en uitkeringsschuld) wordt uit de begeleidende teksten van de begroting nog wel duidelijk dat het college belang hecht aan de activiteit, maar de indicator zelf wordt niet besproken.

Duiding streefwaarden en ontwikkeling

We zien dat bij geen van de vijf indicatoren sprake is van een toelichting op de streefwaarden of de ontwikkeling van de indicatoren. Deze toelichting is niet te vinden (of onvoldoende duidelijk) in de omliggende teksten in de begroting, en ook niet in aanvullende beleidsdocumenten. Het belang van een toelichting op de streefwaarden en de ontwikkeling daarvan blijkt uit onze deelonderzoeken. Zo geven de streefwaarden bij de indicator drijf- en grofvuil aan dat er minimaal 600 ton drijf- en grofvuil moet worden verwijderd. Ook is te zien dat het aantal ton verwijderde drijf- en grofvuil is gedaald van 842 ton in 2014 tot 592 ton in 2017. De vraag die dit oproept is: is er simpelweg minder vuil in de grachten terechtgekomen? Of wordt er minder vuil uit de grachten gehaald, waardoor een deel is blijven liggen?  Bij de indicator internationale bedrijven is opgenomen dat de gemeente wil dat 125 nieuwe internationale bedrijven zich vestigen in de metropoolregio. Waarom de gemeente kiest voor 125 bedrijven wordt niet duidelijk. 

De vraag om betere toelichtingen op de indicator kwam ook nadrukkelijk aan de orde in onze eerdere rapportages en in de rapportages naar aanleiding van de Duisenbergmethode.

Belang van toelichting op de streefwaarden en ontwikkeling al eerder benoemd

In Duisenbergrapportages werd onder meer geconstateerd dat:

  • als er al toelichting werd gegeven, dan sluit dit niet altijd goed aan op de indicator;
  • er geen toelichting voorhanden was op basis van welke gegevens de streefwaarden werden vastgesteld;
  • de streefwaarden voor meerdere jaren gelijk bleven, waar dat niet de verwachting was;
  • uit de P&C-stukken niet helder werd waarom die keuze was gemaakt.

In de aanbeveling vroegen de rapporteurs om de streefwaarden beter te motiveren, bijvoorbeeld door een toelichting op de hoogte van de voorgestelde streefwaarden, de gebruikte definities en het vermelden van bronnen van de peilwaarde.  

Ook in onze eerdere rekenkamerrapporten kwam het belang van een toelichting in de jaarstukken aan bod. Wij constateerden in 2007 dat in het jaarverslag de oorzaken niet werden toegelicht van waarom de realisatiegegevens afweken van de streefwaarden in de begroting. Deze informatie biedt de raad de mogelijkheid om te beoordelen of het beleid moet worden aangepast.  Deze conclusie had weliswaar betrekking op het jaarverslag, maar laat wel zien dat de toelichting in de tekst op de indicatoren en de na te streven waarden onvoldoende waren, zoals ook dit onderzoek laat zien.

Inzicht in kosten

Bij onze deelonderzoeken hebben we bekeken of in de Begroting 2020 te achterhalen was wat de activiteit van de indicator precies kost. De begroting kent met het vaststellen van de doelenboom in december 2018 de structuur dat middelen zijn gekoppeld aan doelen en activiteiten. Onze toetsing gaat hier nog wat verder, namelijk of de kosten van de activiteiten die met de indicatoren worden beschreven zijn terug te vinden in de begroting. We constateren dat dit bij geen indicatoren te achterhalen is.

Bij de indicator drijf- en grofvuil zijn de totale kosten voor het baggeren en het verwijderen van drijfvuil opgenomen. Onduidelijk is wat specifiek de kosten zijn voor het verwijderen van drijfvuil, en de kosten voor het verwijderen van grofvuil zijn helemaal niet opgenomen.  Voor het plusnet voetganger is in de Begroting 2020 wel een totaalbedrag genoemd voor het realiseren van meer ruimte voor fietsers, voetgangers en verblijfsruimte. Maar er wordt niet genoemd of er specifiek voor het realiseren van ruimte voor de voetgangers budget beschikbaar is.  Bij de indicator internationale bedrijven is de informatie wel beschikbaar in beleidsstukken, maar niet als zodanig opgenomen in de begroting.  Voor de indicator uitkeringsschuld heeft de moeilijkheid om de kosten te achterhalen vooral ook te maken met onduidelijkheid over wat de activiteit precies behelst. 

Algemene toelichting

We hebben voor dertig indicatoren uit de Begroting 2020 bekeken of er een adequate toelichting op de indicator te vinden was in de omliggende tekst in de begroting. Voor dit deel hebben we uit de begroting dertig indicatoren willekeurig geselecteerd. Bij onze selectie hebben we gezorgd voor een redelijke verdeling over de programma's en een verdeling tussen doel- en activiteitindicatoren en of de × Download Bijlage 3 indicatoren wel of niet volledig waren ingevuld. Onze bevindingen bij alle dertig onderzochte indicatoren zijn te vinden in het Excel-bestand dat hiernaast is te downloaden.

We constateren dat slechts bij 8 van de 30 (27%) bekeken indicatoren een adequate toelichting is opgenomen in de tekst behorende bij het programma. De informatie draagt dan bij aan een beter begrip van de indicator. Bij 22 indicatoren bevat de omliggende tekst geen adequate toelichting.

Volgens DMC is het niet haalbaar om in de huidige begroting voor elke indicator een volledige toelichting op te nemen. Het uitgangspunt is namelijk dat de begeleidende teksten in de begroting van geringe omvang zijn. Dit sluit aan op de wens van de raad om de planning & control producten kort en bondig te houden. Daarom is gekozen om alleen een toelichting te geven op een indicator als daar aanleiding toe is. Er bestaat echter ook geen ander integraal document waarin de toelichtingen, waarvoor in de begroting geen ruimte is, wél zijn opgenomen. 

Voorbeeld van een adequate toelichting

Een voorbeeld van een indicator waarbij adequate aanvullende informatie in de tekst bij het programma is opgenomen is de indicator: aantal CTO programma's uit het programma Sport. Deze indicator hoort bij de activiteit: we bieden structurele faciliteiten voor topsporters. In de tekst bij het programma Sport is opgenomen dat de gemeente voorwaarden wil scheppen waardoor topsporters kunnen uitblinken. Hiervoor ondersteunt de gemeente nationale talenten in het Centrum voor Topsport en Onderwijs (CTO). Deze Olympische CTO-(opleidings)programma's voldoen aan de hoogste internationale standaarden en bieden talenten en toppers alles dat nodig is voor een maximale sportieve en maatschappelijke ontwikkeling.  Deze tekst biedt voldoende uitleg over de indicator waardoor de begrijpelijkheid van de indicator toeneemt. Wat nog wel ontbreekt, is informatie over het aantal programma's of de ontwikkeling van de streefwaarden.

Informatiewaarde voor de burger

Vragen die bij burgers leven, zijn niet te beantwoorden aan de hand van de begroting.

Bij vier van onze deelonderzoeken hebben we burgers gevraagd wat zij zouden willen weten bij het zien van indicator. Wij kregen van hen veel reacties en hebben per deelonderzoek vijf vragen geprobeerd te beantwoorden aan de hand van informatie uit de begroting. Het bleek dat slechts bij een van de indicatoren (indicator internationale bedrijven) een aanknopingspunt te vinden was in de omliggende tekst. Voor de hand liggende vragen over de keuze voor het peiljaar, de kosten en de gehanteerde definities waren niet te beantwoorden zonder aanvullende informatie uit andere beleidsdocumenten of van de ambtelijke organisatie.  De informatiewaarde van de begroting voor een geïnteresseerde burger is daarmee zeer gering.

Vragen van het burgerpanel

Naast ons eigen oordeel hebben we onderzocht of de indicator en toelichtende teksten ook begrijpelijk zijn voor de gewone Amsterdammers die meer willen weten over de indicator. Hiervoor hebben we voor vier van de vijf indicatoren ons burgerpanel (bestaande uit ongeveer 1000 Amsterdammers) gevraagd wat zij zouden willen weten. De vijf meest voorkomende vragen hebben wij vervolgens getracht te beantwoorden. Daarbij beoordeelden we expliciet of het antwoord op de vraag uit de begroting te halen is. Indien dit niet mogelijk was, hebben wij alsnog het juiste antwoord geprobeerd te achterhalen uit andere documenten of door navraag bij de ambtelijke organisatie.

Conclusie

We concluderen dat de indicatoren in de begroting onvoldoende begrijpelijk zijn. In de omliggende teksten in de begroting wordt weinig of geen toelichting gegeven op de indicatoren. Dit lijkt deels een gevolg van de keuze om de jaarstukken zo beknopt mogelijk te houden. Aangezien de indicatoren het instrument zijn voor de gemeenteraad en inwoners van Amsterdam om te kunnen bepalen of de activiteiten worden uitgevoerd en de beoogde doelen worden gehaald, is het essentieel dat duidelijk is wat de indicatoren zeggen. Op dit moment is hiervan geen sprake. De informatiewaarde van de begroting voor de gemeenteraad en een inwoner van Amsterdam is hiermee zeer beperkt.

Uit onze deelonderzoeken blijkt dat we bij slechts één indicator aanknopingspunten zagen voor een toelichting op de indicator. Bij de andere vier indicatoren was daarvan geen sprake. Uit onze steekproef van dertig indicatoren kwam ook naar voren dat er geen toelichting op de indicatoren is te vinden in de omliggende tekst van de begroting.

De vragen die burgers ons stelden op basis van de indicator, hebben wij niet kunnen beantwoorden met de informatie uit de begroting. Dat de begrijpelijkheid van de begroting op het punt van de indicatoren onvoldoende is, bleek ook uit de rapportages naar aanleiding van de methode Duisenberg. Daarin werd meermaals aangegeven dat een toelichting op de streefwaarden noodzakelijk was om ze te kunnen begrijpen.