Bruikbaarheid van indicatoren
Bestuurlijk rapport

Oorspronkelijk gepubliceerd zonder bestuurlijke reactie op 20 mei 2020

Samenvatting

De indicatoren in de begroting van Amsterdam zijn niet bruikbaar. Dit blijkt uit de vele tekortkomingen die we zien bij de opgenomen indicatoren in de begroting. De formulering van de indicatoren schiet vaak tekort, vooral door het ontbreken van noodzakelijke kwantitatieve informatie. Ook blijkt de relevantie van de indicatoren regelmatig onvoldoende. Doordat toelichtingen vaak ontbreken, zijn de opgenomen indicatoren moeilijk te begrijpen en te duiden. Tot slot constateren wij dat de betrouwbaarheid van de gerapporteerde cijfers in de indicatoren niet in alle gevallen is gegarandeerd.

Met de invoering van de dualisering van het gemeentebestuur in 2002 ontstond de verplichting om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. Wij constateren dat dit sinds de invoering van deze verplichting in Amsterdam nog nooit naar behoren heeft gewerkt. Tekortkomingen die wij in dit onderzoek signaleren, zien wij ook terug in onze eerdere rapporten over indicatoren (2007, 2008, 2013 en 2014). Hoewel er soms wel sprake is van positieve ontwikkelingen, blijft het geheel al 17 jaar onvoldoende.

Deels komt dit doordat het niet eenvoudig is om treffende indicatoren te kiezen om de grote verscheidenheid aan gemeentelijke activiteiten en nagestreefde doelen inzichtelijk te maken. Maar het heeft ook zeker te maken met de wijze waarop en de houding waarmee de gemeente te werk gaat bij het vormgeven en invullen van indicatoren. Zo wordt voor het ontwikkelen van indicatoren te weinig tijd genomen. Ook wordt het belang van de indicatoren onvoldoende ingezien en voelt niemand zich écht verantwoordelijk.

Bij een systeem dat al meer dan 17 jaar niet naar behoren werkt, is zeker de vraag gerechtvaardigd of het onderliggende idee wel goed is. Maar wij zien geen alternatief. Zonder goede indicatoren gaat het niet lukken om op een integrale wijze overzicht te krijgen over de doelen en activiteiten van de gemeente. Dergelijk overzicht is essentieel voor de kaderstellende en controlerende taak van de gemeenteraad. Daarom doen wij de volgende zes aanbevelingen:

  1. Zorg voor betrokkenheid om te komen tot bruikbare indicatoren
  2. Ruim realistisch tijd in voor verbetering
  3. Beleg de verantwoordelijkheid voor indicatoren helder
  4. Zet het verhaal voorop
  5. Hanteer duidelijke criteria voor bruikbare indicatoren
  6. Zorg voor een gelaagde presentatie van de jaarstukken

Het college neemt alle aanbevelingen over, maar geeft aan onze conclusie dat de indicatoren niet bruikbaar zijn niet te delen. In ons nawoord onderstrepen wij het belang van het onderkennen dat de indicatoren onvoldoende bruikbaar zijn voor het realiseren van daadwerkelijke verbeteringen.

Conclusies

Dit bestuurlijk rapport is gebaseerd op vijf deelonderzoeken over specifieke indicatoren en het afsluitende onderzoeksrapport die wij al eerder hebben gepubliceerd. De vijf indicatoren die we op deze wijze hebben onderzocht zijn: hulp aan statushouders (7.2.1.1.3), drijf- en grofvuil (2.2.1.1.1), plusnet voetganger (2.1.1.1), internationale bedrijven (3.1.2.2.1) en uitkeringsschuld (7.1.1.2.2). Daarnaast hebben we een meer globaal aanvullend onderzoek gedaan naar alle indicatoren uit de begroting. De deelonderzoeken en het afsluitende onderzoeksrapport zijn op de projectpagina te vinden. Meer informatie over de aanpak van dit onderzoek staat in de onderzoeksopzet.

Formulering duidelijk maar cijfers ontbreken

De formuleringen van de indicatoren zijn meestal redelijk duidelijk en voldoende specifiek.  In theorie maakt dit een goede monitoring van de realisatie van de indicatoren mogelijk. In de praktijk werkt dit niet. Afgezien van de soms erg technische omschrijvingen van indicatoren is het grootste probleem dat de indicatoren vaak simpelweg niet zijn ingevuld met cijfers. Daarbij verwijst de gemeente ook regelmatig naar andere documenten. Deze verwijzingen zijn moeilijk te volgen en leveren zelden de beloofde informatie. Al met al is de formulering van de indicatoren in de begroting dus onvoldoende.

Formulering redelijk duidelijk en overwegend voldoende specifiek

Wij constateren dat vier van de vijf indicatoren redelijk duidelijk en specifiek zijn geformuleerd. Dit betekent dat helder is beschreven wat er wordt gemeten. De kanttekening die we hierbij plaatsen is dat de indicator vaak termen bevat die erg technisch zijn. Wat zorgt voor een moeilijke interpretatie van de indicator. Een voorbeeld is de indicator plusnet voetganger: het percentage plusnet voetganger dat voldoet aan de minimale doorloopruimte van 1,80 meter. De indicator is wel duidelijk en specifiek geformuleerd, maar om te snappen wat de indicator zegt, moet je weten wat het ‘plusnet voetganger’ is en wat de betekenis is van de ‘minimale doorloopruimte van 1,80 meter’.

In onze eerdere onderzoeken over de informatiewaarde van de jaarstukken hadden we ook aandacht voor de formulering van de indicatoren.  Daarbij constateerden we dat de formulering van de indicatoren veelal tekortschoot, dat er in de formulering geen goed verschil werd gemaakt tussen doel- en activiteitindicatoren en dat de instructie die was opgesteld voor het formuleren van doelen en indicatoren onvoldoende was.

Noodzakelijke kwantitatieve informatie veelal onvolledig

In de Begroting 2020 ontbreekt bij de indicatoren te vaak kwantitatieve informatie. Dat maakt de indicator weinig informatief. Alleen met kwantitatieve informatie kunnen (beoogde) resultaten zichtbaar worden gemaakt. In de Begroting 2020 blijkt slechts 28% van de indicatoren volledig te zijn voorzien van kwantitatieve informatie (bij de Begroting 2018 was dit 37%).  In de Begroting 2020 worden hiervoor verschillende verklaringen gegeven. Wij vinden veel van deze verklaringen niet acceptabel. Bij twee mogelijke verklaringen kunnen wij ons voorstellen dat het ontbreken van kwantitatieve informatie gerechtvaardigd is: als de meting tweejaarlijks wordt uitgevoerd en als het een nieuwe indicator betreft waarbij de eerste meting nog moet plaatsvinden.  Het zonder goede redenen ontbreken van kwantitatieve informatie hebben we ook gezien in onze eerdere onderzoeken. Het is dus een hardnekkig probleem dat steeds terugkomt en niet structureel wordt opgelost. Dat wordt dus ook weer onderstreept door de recente jaarstukken. De gemeente beloofde de ontbrekende indicatoren bij de Voorjaarsnota 2019 en de Begroting 2020 wel op te nemen. Het blijkt echter dat dit niet is gelukt.

Verwijzen naar andere documenten niet transparant

In de Begroting 2020 neemt de gemeente bij 37 indicatoren geen indicator op, maar verwijst zij naar een ander document. Dat document is vaak moeilijk te vinden. Dit geldt met name als wordt verwezen naar documenten die nog moeten worden opgesteld op het moment dat de begroting wordt gemaakt. Als het document vervolgens wél gevonden is dan blijkt het nog steeds erg moeilijk om de informatie te vinden waarop de verwijzing betrekking heeft. De betreffende indicator hebben wij in geen van deze 37 gevallen kunnen terugvinden. Feitelijk wordt er dus met dit soort verwijzingen tegen de lezer gezegd: zoek het zelf maar uit. Uit ons onderzoek blijkt dat er geen richtlijnen zijn voor het verwijzen naar andere documenten. Ook wordt niet bewaakt dat verwijzingen kloppen in de zin dat ze verwijzen naar documenten die vindbaar zijn en daadwerkelijk de indicator bevatten. De Directie Middelen en Control (DMC) beschouwt dit als een verantwoordelijkheid van de betrokken directies zelf en controleert hier in ieder geval niet op (DMC: "net als de controle op taalfouten").

Betrouwbaarheid niet gegarandeerd

We constateren dat de betrouwbaarheid van de indicatoren niet zonder meer gegarandeerd is.  Een van de vijf door ons onderzochte indicatoren bleek niet betrouwbaar. Ook is er veelal geen onderbouwing voor de gekozen peilwaarde. Wel zien we dat de invulling van de kwantitatieve informatie consistent is. Binnen de gemeentelijke organisatie vindt er geen integrale controle plaats op de betrouwbaarheid van de meting en de bron van de indicatoren.

Kwantitatieve informatie redelijk betrouwbaar

Bij vier van de vijf indicatoren zijn we (redelijk) positief over de betrouwbaarheid van de opgenomen indicatoren. In deze gevallen constateren we dat de wijze waarop de cijfers tot stand komen reproduceerbaar zijn, en dat er sprake is van het gebruik van een betrouwbare bron. Bij één indicator (over de hulp aan statushouders) konden we het gerapporteerde percentage echter in het geheel niet meer reproduceren of herleiden tot een betrouwbare bron. Als we deze bevinding zouden doortrekken, betekent dit dat 20% van de indicatoren in de begroting niet betrouwbaar is.  We hebben geen reden om aan te nemen dat dit zo is, maar het laat wel zien dat er een risico is dat meer indicatoren onbetrouwbaar zijn. Dit blijkt ook uit een van de Duisenbergrapportages, waarin de rapporteurs opmerken dat een realisatiewaarde bij een indicator over parkeren niet correct is.

Onderbouwing voor peilwaarde ontbreekt

Met een peilwaarde worden de gerapporteerde prestaties en streefwaarden voor de toekomst in (historisch) perspectief geplaatst. Een goed gekozen peilwaarde maakt inzichtelijk of bijvoorbeeld een streefwaarde ambitieus is (of juist niet). Bij drie van de vijf onderzochte indicatoren is geen sprake van een onderbouwing voor de gekozen peilwaarde. Bij twee van deze indicatoren is in het geheel geen peilwaarde opgenomen en bij één is de peilwaarde van de onderbouwing gedateerd en daarmee niet meer relevant.

Invulling van de kwantitatieve informatie is consistent

We constateren dat er bij de vijf indicatoren die wij hebben onderzocht sprake is van een consistente invulling. Dat wil zeggen dat de streefwaarde precies hetzelfde meet als de realisatiewaarde en de peilwaarde, en dit alles ook overeenkomt met de omschrijving van de indicator.

Geen controle op betrouwbaarheid bron

Binnen de gemeentelijke organisatie vindt er geen integrale controle plaats op de betrouwbaarheid van de indicatoren in de begroting. DMC stelt dat er ook geen reden is om aan te nemen dat de opgenomen indicatoren onbetrouwbaar zijn. De data zijn immers veelal afkomstig van een betrouwbare bron: namelijk Onderzoek, Informatie en Statistiek. Ook is het de ervaring van DMC dat de raadsvragen over indicatoren veelal snel en eenvoudig beantwoord kunnen worden. Afgezien van deze aannames en ervaringen is er geen integraal zicht op de betrouwbaarheid van de gerapporteerde indicatoren. Volgens DMC is dit geen verantwoordelijkheid van DMC, maar zijn de directies zelf verantwoordelijk voor het opnemen van betrouwbare indicatoren.

Relevantie schiet tekort

De relevantie van de onderzochte indicatoren schiet tekort.  Bij vier van de vijf inidcatoren biedt de indicator niet het gewenste inzicht in de nagestreefde doelen of activiteiten. Ook is de samenhang van de indicatoren binnen de gehele doelenboom veelal niet logisch. We constateren ook dat er geen duidelijke eindverantwoordelijkheid belegd is voor de relevantie van het geheel aan indicatoren in de doelenboom.

Geen inzicht in doel of activiteit

De indicatoren geven niet de essentie weer van de activiteit of het nagestreefde doel. Dit was bij vier van de vijf door ons onderzochte indicatoren het geval. Dit maakt het lastig om écht inzicht te krijgen in wat de gemeente wil bereiken of daarvoor doet. De indicator vertelt met andere woorden niet het relevante verhaal. Opvallend was daarbij dat dat de betrokken ambtenaren 'van de werkvloer' die wij hebben gesproken voor dit onderzoek vaak kritisch waren op de indicator die hun werkveld beschrijft. Dat was bijvoorbeeld het geval bij de indicator hulp aan statushouders. De gebruikte indicator was het percentage statushouders dat maatschappelijke begeleiding krijgt én de participatieverklaring heeft ondertekend. De betrokken ambtenaren zagen de relevantie hiervan wel in, maar vonden de uitstroom uit de bijstand door statushouders een minstens zo relevante indicator. Die was echter niet opgenomen. Tijdens ons onderzoek is de indicator aangepast en deze richt zich nu op de uitstroom uit de bijstand. Vermeldenswaardig is verder dat de mate waarin deze ambtenaren worden betrokken bij het opstellen en het uiteindelijk vaststellen van de indicatoren, wisselt per programma.

Voorbeelden van onvoldoende relevante indicatoren

Naast het hiervoor genoemde voorbeeld van de indicator hulp aan statushouders hebben wij ook bij andere indicatoren gezien dat de relevantie onvoldoende was. Zo gaf de indicator verwijderen van drijf- en grofvuil onvoldoende inzicht in de inspanningen die de gemeente pleegt om de grachten schoon te maken, omdat de hoeveelheid verwijderd vuil afhankelijk is van wat men tegenkomt. Ook bleek de indicator niet op heel Amsterdam betrekking te hebben. In het geval van de indicator plusnet voetganger werd deze op zich wel relevant geacht door betrokken ambtenaren, maar was het wel zo dat de indicator niet alle relevante positieve en negatieve ontwikkelingen in beeld bracht. De indicator meet namelijk welk deel van de stoepen breder is dan 1,80 meter. Stoepen die breder zijn geworden, maar nog niet breed genoeg zijn, worden niet meegeteld (en omgekeerd: zolang de stoep breder blijft dan 1,80 meter blijft een afname van de breedte ook onvermeld). De indicator past echter ook niet bij het doel dat met de indicator moet worden gemeten: meer ruimte voor leven en spelen op de straten. Tot slot constateerden we ook dat de indicator uitkeringsschuld onvoldoende relevant was. Deze indicator was volgens de betrokken ambtenaren niet goed te interpreteren. De ontwikkeling van de hoeveelheid Amsterdammers met een uitkeringsschuld hangt namelijk af van allerlei verschillende factoren, zoals het opsporen van onrechtmatige uitkeringen (wat een stijgend effect heeft) en het kwijtscheldingsbeleid (wat een dalend effect heeft). Daarbij wordt in de indicator ook de verstrekte leenbijstand meegeteld, wat weer een volstrekt andere vorm van uitkeringsschuld is.

Logische samenhang ontbreekt

In een doelenboom behoort een logische samenhang aanwezig te zijn tussen de activiteiten, de bovenliggende doelen en de bijbehorende indicatoren. Wij constateren dat hiervan bij drie van vijf indicatoren geen sprake is.  Zo past bijvoorbeeld het verwijderen van drijf- en grofvuil uit de grachten niet bij de doelindicator 'schonere grachten'. De indicator voor de schoonheid is namelijk: de gemeten hoeveelheid drijvend afval aan de oppervlakte. Die doelindicator past niet bij de indicator verwijderen van drijf- en grofvuil, want daarbij gaat het om het gewicht van het verwijderde afval. Daarbij tellen zware objecten (zoals fietsen), die naar de bodem zakken, mee. Nu is het verwijderen van dergelijke objecten zeker nuttig voor de bevaarbaarheid van de grachten, maar het past niet logisch bij de schoonheidsgraad. De noodzaak voor een logisch samenhangend geheel van indicatoren kwam ook al herhaaldelijk terug in onze eerdere onderzoeken, en wordt ook aan de orde gesteld in de rapportages die zijn uitgebracht in het kader van de methode Duisenberg.

Andere voorbeelden gebrek aan logische samenhang

Ook bij de indicatoren plusnet voetganger en uitkeringsschuld zagen we dat de logische samenhang onvoldoende was. Zoals eerder al in paragraaf 3.1 is beschreven, past de indicator plusnet voetganger niet logisch bij het doel dat ermee gemeten wordt: meer ruimte voor leven en spelen op de straten. Meer ruimte voor de voetganger (wat met de indicator wordt gemeten) is daar slechts een zeer beperkte invulling van. En, zoals eveneens eerder beschreven in paragraaf 3.1, is de indicator uitkeringsschuld niet goed eenduidig te interpreteren, onder meer omdat ook de leenbijstand wordt meegeteld.

Eindverantwoordelijkheid niet belegd

Binnen de ambtelijke organisatie is er niet één persoon of organisatieonderdeel eindverantwoordelijk voor het proces en inhoudelijke kwaliteit van de jaarstukken. DMC stuurt het proces en de directies zijn inhoudelijke verantwoordelijk. Gezamenlijk bestaat er een collectieve verantwoordelijkheid voor het geheel. Binnen de ambtelijke organisatie vindt er geen inhoudelijke eindbeoordeling plaats of het geheel aan indicatoren een relevante en samenhangende doelenboom oplevert voor het betreffende programma.

Begrijpelijkheid onvoldoende

De indicatoren in de begroting zijn onvoldoende te begrijpen.  De omliggende teksten in de begroting geven geen of zeer beperkt toelichting op de indicatoren. Zonder toelichting blijft onduidelijk welke betekenis de indicator heeft. Eventuele ontwikkelingen in het verloop van de indicator kunnen zonder duiding moeilijk worden geïnterpreteerd. De informatiewaarde van de begroting voor de gemeenteraad en Amsterdammers is hiermee zeer beperkt.

Geen toelichting op indicatoren

De teksten in de begroting bieden geen heldere toelichting op het belang en de betekenis van de indicator, de ontwikkeling van de streefwaarden en de kosten. In onze deelonderzoeken zagen we bij slechts één indicator een summiere aanzet voor een toelichting op de indicator. Bij de andere vier indicatoren was daarvan in het geheel geen sprake. Uit onze steekproef van 30 indicatoren kwam naar voren dat slechts bij 8 indicatoren (27%) een adequate toelichting was opgenomen in tekst van het programma. Ook is er geen achterliggend document waarin de indicatoren worden toegelicht. De toelichting op de indicator is belangrijk, zeker omdat er bij de formulering van de indicatoren vaak termen worden gebruikt die technisch zijn waardoor zonder voorkennis niet duidelijk is wat er gemeten wordt. Daarnaast is het zonder toelichting vaak ook niet te begrijpen waarom voor een bepaalde streefwaarde is gekozen. Het gebrek aan toelichtingen lijkt deels een gevolg van de keuze om de jaarstukken zo beknopt mogelijk te houden. De huidige opzet leidt er echter toe dat de indicator veelal alleen begrijpelijk is voor de direct betrokkenen en voor alle andere lezers al snel weinig informatief is.

De vraag om betere toelichtingen op de indicatoren kwam ook terug in onze eerdere rapportages over de informatiewaarde van de begroting, maar nadrukkelijk ook in de Duisenberg-rapportages van de gemeenteraad. De rapporteurs vonden een toelichting op de opgenomen streefwaarden noodzakelijk om ze te kunnen begrijpen.

Informatiewaarde voor burger onvoldoende

De informatiewaarde van de begroting is voor raadsleden onvoldoende. Laat staan dat de begroting een informatief document is voor een brede groep Amsterdammers.  We hebben dit ook onderzocht. We hebben een groep inwoners van Amsterdam vier van de vijf indicatoren voorgelegd en gevraagd om aan te geven welke vragen de indicator bij ze opriep.  De vragen die burgers ons stelden, hebben wij niet of nauwelijks kunnen beantwoorden met de informatie uit de begroting. Met behulp van andere documenten is dit veelal wel gelukt. Voor een inwoner van Amsterdam biedt de begroting daarmee onvoldoende inzicht in de doelen en activiteiten van de gemeente.

Hoofdconclusie

De centrale onderzoeksvraag luidt:

Bieden de indicatoren uit de begroting een bruikbaar
inzicht in de doelen en activiteiten van de gemeente Amsterdam?

Hoofdconclusie
De indicatoren in de begroting zijn niet bruikbaar. Dit blijkt uit de vele tekortkomingen die we zien bij de opgenomen indicatoren in de begroting. De formulering van de indicatoren schiet vaak tekort, vooral door het ontbreken van noodzakelijke kwantitatieve informatie. Ook blijkt de relevantie van de indicatoren regelmatig onvoldoende. Doordat toelichtingen vaak ontbreken, zijn de opgenomen indicatoren moeilijk te begrijpen en te duiden. Tot slot constateren wij dat de betrouwbaarheid van de gerapporteerde cijfers in de indicatoren niet in alle gevallen is gegarandeerd.

Gedurende het onderzoek zijn we ook aanknopingspunten tegengekomen voor oorzaken waarom de gemeente er niet goed in slaagt om een bruikbare begroting met indicatoren op te leveren. In onderstaande analyse gaan we daar nader op in.

Analyse
Een oud en hardnekkig probleem
Met de invoering van de dualisering van het gemeentebestuur in 2002 ontstond de verplichting om met indicatoren systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. In 2003 zijn de voorschriften hierover in het Besluit Begroting en Verantwoording provincies en gemeenten (BBV) meer precies uitgewerkt. Wij constateren dat dit sinds de invoering van deze verplichting in Amsterdam nog nooit naar behoren heeft gewerkt. Tekortkomingen die wij in dit onderzoek signaleren, zien wij ook terug in onze eerdere rapporten over indicatoren (2007, 2008, 2013 en 2014).  Hoewel er soms wel sprake is van positieve ontwikkelingen, blijft het geheel onvoldoende. Illustratief voor dit patroon is het feit dat het aantal met cijfers volledig ingevulde indicatoren in de Begroting 2020 (28%) lager ligt dan in de Begroting 2018 (37%). Ook in de rapportages uitgebracht door raadsleden in het kader van de methode Duisenberg, worden vaak weer oude problemen benoemd, die we kennen uit eerder onderzoek en terugzien in dit onderzoek.

Het opzetten van een stelsel van zinnige indicatoren is lastig
Met een goed werkend systeem van indicatoren geeft de gemeente op een toegankelijke en overzichtelijke wijze inzicht in de stand van zaken en ontwikkelingen bij de belangrijkste gemeentelijke activiteiten en doelen. Dit betekent dat, om tot een dergelijk systeem te komen, er een helder idee moet zijn over wat de belangrijkste activiteiten en doelen zijn en hoe deze het best in indicatoren gevat kunnen worden. We zien dat men in allerlei gemeenten worstelt met deze zoektocht. Dat is ook begrijpelijk. Er bestaat geen blauwdruk waarmee alle activiteiten van de gemeente op een overzichtelijke en eenduidige wijze gepresenteerd kunnen worden, die door iedere gemeente kan worden ingevuld.

De complexiteit van een zinnig en bruikbaar stelsel van indicatoren zien we op meerdere manieren terugkomen. Ten eerste: de veelheid aan invalshoeken. De doelen en de activiteiten van de gemeente zijn verschillend van aard. Hierdoor zijn er ook verschillende invalshoeken mogelijk op wat er moet worden beschreven met de indicatoren. Zo is er eens in de vier jaar een nieuw college - dat zijn eigen prioriteiten stelt binnen het gemeentelijk beleid. Daarnaast loopt het reguliere beleid dat al langere tijd wordt uitgevoerd gewoon door en kent dat ook zijn eigen cyclus die niet altijd gelijk loopt met bestuursperiodes. Tevens zijn er de meer beheersmatige activiteiten die de gemeente uitvoert. Naast de verschillende invalshoeken die voortkomen uit de eigen gemeentelijke context, zijn er in het BBV-indicatoren geformuleerd die de gemeenten verplicht moeten opnemen in de jaarstukken. Idealiter worden indicatoren voor al deze verschillende invalshoeken op een overzichtelijke manier gepresenteerd.

Dit brengt ons bij de tweede complexiteit: de omvang. Om aan al deze verschillende invalshoeken recht te kunnen doen, is een grote hoeveelheid aan indicatoren noodzakelijk. Dat lijkt al snel op gespannen voet te staan met de wens om compacte en leesbare jaarstukken te maken. Een omvangrijk document is al snel niet meer prettig leesbaar. Maar veel schrappen creëert een document dat onvoldoende informatief is.

Tot slot een laatste complexiteit: het benodigde werkproces. Het komen tot een afgewogen en samenhangende doelenboom met indicatoren is ingewikkeld. Als dit proces hoofdzakelijk wordt ingestoken vanuit de werkvloer (en de vele mensen die daar uiteenlopende activiteiten uitvoeren) dan levert dit mogelijk een wildgroei aan indicatoren op. Zonder voldoende oog voor de hoofdlijnen van het gemeentelijk beleid, raken zaken zoals bestuurlijke prioriteiten dan juist uit beeld. Maar als het opzetten van de doelenboom vooral 'top-down' wordt georganiseerd, ontstaat een geheel dat al snel te abstract wordt en te weinig raakvlak heeft met de dagelijkse praktijk op de werkvloer van de gemeente.

Proces doelenboom schiet tekort, maar bovenal ontbreekt de juiste attitude
Naar onze mening wordt de complexe opgave om tot een zinnig en bruikbaar systeem van indicatoren te komen onvoldoende doortastend en serieus opgepakt. Dit is enerzijds een gevolg van het proces waarin de doelenboom en jaarstukken tot stand komen, maar anderzijds hebben wij de indruk dat het bij betrokken ambtenaren, directies en DMC veelal ontbreekt aan de attitude die nodig is om de doelenboom van voldoende kwaliteit te laten zijn: niemand lijkt zich er verantwoordelijk voor te voelen. Wij kunnen ons voorstellen dat dit in het geval van ambtenaren op de werkvloer verklaard wordt doordat zij erg ver weg staan van de begroting (en jaarrekening) en de doelenboom.

In het werkproces ontbreken belangrijke randvoorwaarden om tot een goed resultaat te komen. De complexiteit lijkt door de ambtelijke organisatie niet te worden onderkend en er wordt hiervoor dan ook onvoldoende tijd ingeruimd. Dit zagen wij bij het opstellen van de eerste doelenboom bij de Begroting 2019. Een volledig herontwerp van de doelenboom en de indicatoren moest in heel korte tijd worden gerealiseerd. Ook zien wij dat er onrealistische beloften tot verbetering worden gedaan. DMC gaf bij het feitelijk wederhoor van ons eerste deelonderzoek, dat nog was gebaseerd op de Begroting 2019, aan dat er bij de Begroting 2020 een volwaardige doelenboom zou zijn. Uit ons onderzoek blijkt duidelijk dat de gemeente daar nog niet in geslaagd is.

"En de ontwikkeling van de doelenboom is nog gaande: een deel van de indicatoren uit de doelenboom wordt nog ingevuld in de Begroting 2020, en de dialoog met de raad over een optimale invulling van de doelenboom is nog lopende (bijvoorbeeld momenteel met de raadsbehandeling van de voorjaarsnota, alwaar amendementen worden ingediend door de raad op de doelenboom als gevolg van een debat over onderdelen hiervan). De komende Begroting 2020 zal het eerste moment zijn waarop de doelenboom in volle glorie en met de gebruikelijke toelichtingen naar de raad zal worden gestuurd."

Bron: Gemeente Amsterdam, DMC, Reactie DMC op feitelijk wederhoor deelonderzoek Hulp aan statushouders, 13 juni 2019.

Maar het gaat niet alleen om een beter en realistischer werkproces. Het is minstens zo belangrijk dat de organisatie het opstellen van een bruikbare doelenboom belangrijk vindt en dat men zich hier verantwoordelijk voor voelt. In de gesprekken die wij hebben gevoerd houden wij de indruk over dat de door ons gesproken ambtenaren veelal het belang van indicatoren niet zien. Het wordt ervaren als een verplicht nummer waaraan men wel een bijdrage levert, maar waarvoor men zich zeker niet verantwoordelijk voelt. In één gesprek over een indicator werd zelfs de verbazing geuit over de tijd die wij besteden aan het onderzoeken van indicatoren. Dit zou namelijk niet in verhouding staan tot de tijd die de ambtenaren hadden besteed aan het formuleren van de betreffende indicator: nog geen vier uur. Maar onze indruk is ook gebaseerd op het verloop van het onderzoeksproces zelf. Zo bleek het bij herhaling erg moeilijk om tijdige medewerking van DMC te krijgen en heeft DMC bij vier deelonderzoeken en bij het afsluitend rapport geen gebruik gemaakt van de mogelijkheid tot feitelijk wederhoor. Het lijkt er zo op dat DMC weinig interesse heeft in en belang toekent aan het verbeteren van de bruikbaarheid van indicatoren.

Het helpt ook niet dat het ontbreekt aan een duidelijk belegde verantwoordelijkheid. DMC geeft aan een kwalitatief beter product te willen, maar als het erop aankomt, benadrukt DMC dat de inhoudelijke verantwoordelijkheid voor de doelenboom en de programmateksten bij de directies ligt. Hierin klinkt het afschuiven van de verantwoordelijkheid door. Dit zien we ook terug bij de reactie van het college op verzoeken van de gemeenteraad om betere indicatoren: als de raad het anders wil, dan geeft hij maar aan wat hij anders wil. Het college wekt daarmee de indruk dat een gebrekkige doelenboom niet alleen een probleem is voor de gemeenteraad, maar ook een probleem is van de gemeenteraad. Het is echter nadrukkelijk niet het probleem van de gemeenteraad. Het is namelijk de taak van het college om hier goed uitvoering aan te geven zodat er voor de gemeenteraad geen problemen ontstaan bij het uitvoeren van zijn kaderstellende en controlerende taken.

De gemeenteraad stelt de doelenboom vast. Zij bepaalt daarmee welke doelen en indicatoren worden opgenomen in deze doelenboom. Bij amendering van deze doelenboom kan de gemeenteraad indicatoren toevoegen en wijzigen. Het eerstvolgende moment hiervoor is de Voorjaarsnota 2020.

Bron: Gemeente Amsterdam, Bestuurlijke reactie op initiatiefvoorstellen van lid Torn (VVD) m.b.t. de aanbevelingen van Duisenberg bij Jaarverslag 2018 , 12 november 2019.

Kan er niet beter worden gestopt met indicatoren?
Bij een systeem dat al meer dan zeventien jaar niet naar behoren werkt, is zeker de vraag gerechtvaardigd of het onderliggende idee wel goed is. Wellicht is te veel bedacht vanuit een bedrijfseconomisch perspectief waarin idealiter alles kan worden gekwantificeerd en past een dergelijk systeem niet goed bij een gemeente? Als er een alternatief is dat leidt tot meer en beter inzicht in activiteiten en doelen van de gemeente Amsterdam, dan moet er natuurlijk niet onnodig ‘gehecht’ worden aan indicatoren.

Maar wij zien geen alternatief. Andere documenten die een helder overzicht van het geheel aan activiteiten van de gemeente geven bestaan er naar ons weten niet. Daar komt bij dat ook een alternatief systeem een doortastende en serieuze aanpak zal vergen om succesvol te zijn. Juist hieraan heeft het naar onze mening, zoals hiervoor al gesteld, ontbroken.

Natuurlijk is het zo dat de gemeenteraad van dossier tot dossier geïnformeerd wordt door het college. Maar deze soms diepgaande en daardoor omvangrijke informatie levert geen overzicht op van het geheel van activiteiten en doelen in de gemeente: dat is zelfs voor de grootste ‘dossiervreter’ ondoenlijk. Ter illustratie: in de twaalf maanden sinds januari 2019 heeft de gemeenteraad meer dan 8.000 documenten gekregen via de Dagmail en de vergaderstukken voor de raadsvergadering. Laat staan dat dit werkbaar is voor de gewone Amsterdammer.

Zonder goede indicatoren gaat het niet lukken om op een integrale wijze overzicht te krijgen over de doelen en activiteiten van de gemeente. De uitdaging zit erin om ervoor te zorgen dat dit overzicht ook daadwerkelijk inzicht biedt. Het moet dus en is zeventien jaar lang niet gelukt. Daarom vinden we dat een kritische blik op de huidige houding, het proces en het resultaat zeer op zijn plaats is.

Aanbevelingen

Neem indicatoren serieus

Bij het uitvoeren van de publieke taak hoort het transparant en overzichtelijk verantwoording afleggen. Dit is ook de gedachte achter de verplichting uit het BBV dat in de begroting en de jaarrekening gemeenten gebruik moeten maken van indicatoren. Deze jaarstukken zijn immers ook de enige documenten waarin een totaaloverzicht wordt geschetst van de doelen die de gemeente wil behalen en de activiteiten die de gemeente daarvoor uitvoert. De indicatoren zijn daarbij een hulpmiddel om te controleren of de uitvoering van het gemeentelijk beleid op schema ligt. Het is daarom essentieel dat indicatoren daadwerkelijk serieus worden genomen. Daarvoor moet het tot in de haarvaten van de gehele ambtelijke organisatie doordringen dat het systematisch geven van inzicht hoort bij het uitvoeren van zijn taken. Want als deze attitude ontbreekt, dan zullen er nooit bruikbare indicatoren zijn (of een ander bruikbaar systeem waarmee de gemeente inzicht geeft). En dat raakt direct de mogelijkheid van de gemeenteraad om zijn kaderstellende en controlerende taken naar behoren uit te voeren.

Aanbeveling 1: Zorg voor betrokkenheid om te komen tot bruikbare indicatoren

De jaarstukken moeten met indicatoren waardevolle informatie opleveren die inzicht geven in de doelen en de activiteiten van het gemeentelijk beleid. De constatering dat de gemeente er al jarenlang niet in slaagt om te zorgen voor dat inzicht, laat zien dat dit een hardnekkig probleem is. De oplossing hiervoor start met de houding. Het is noodzakelijk dat de informatiewaarde van de jaarstukken serieus wordt genomen en dat de betrokkenen de verantwoordelijkheid voelen om de informatiewaarde hiervan te verbeteren.

Achterliggende bevindingen

Wij constateren al vanaf 2007 dat de informatiewaarde van de jaarstukken onvoldoende is. Dit betreft de formulering van duidelijke en specifieke indicatoren, het onderscheid tussen effect- (doel) en prestatie- (activiteit) indicatoren, de kwaliteit van de instructie, de aanwezigheid van kwantitatieve informatie, onderbouwing van de peilwaarde, samenhang van de doelenboom, belang van een toelichting op de streefwaarden en ontwikkeling.

De verantwoordelijkheid voor de inhoud van het programma ligt bij de directies. Er is geen integrale eindverantwoordelijkheid belegd voor de inhoudelijke kwaliteit van de jaarstukken. Er is nu sprake van een gedeelde verantwoordelijkheid van DMC, de inhoudelijke directies, het Gemeentelijk Managementteam en het college.

DMC heeft weliswaar de regie op het proces, maar stelt geen zicht te hebben of dit proces met gedeelde verantwoordelijkheden een voldoende relevante doelenboom met indicatoren heeft opgeleverd die de uiteenlopende activiteiten en doelen van de gemeente adequaat beschrijft.

De gemeenteraad vraagt (onder meer via de rapportages uit de methode Duisenberg) op meerdere momenten aandacht voor de kwaliteit van de indicatoren. Het gaat dan bijvoorbeeld om de koppeling met de doelen uit het coalitieakkoord, de houdbaarheid op de lange termijn van de indicatoren, de betrouwbaarheid van de indicatoren of de samenhang tussen de indicatoren. Het college volgt deze verzoeken van de gemeenteraad deels op, maar geeft ook meermaals aan dat het aan de gemeenteraad is om indien gewenst amendementen in te dienen op de indicatoren.

Wees betrokken bij indicatoren en neem verantwoordelijkheid
Voor het verbeteren van de bruikbaarheid van indicatoren zijn het college en de ambtelijke organisatie verantwoordelijk. Zij moeten zich betrokken en verantwoordelijk voelen voor het afleggen van een heldere en bruikbare verantwoording met indicatoren. Of er een verbetering komt, hangt af van de wijze waarop het college en de ambtelijke organisatie dit gaan oppakken. Als deze exercitie (weer) wordt gezien als hoofdzakelijk een formele verplichting waaraan zo efficiënt mogelijk moet worden voldaan, dan gaat dit niet leiden tot een beter overzicht en komt er zeker geen inzicht. Maar ook de gemeenteraad moet zich actief blijven inzetten voor het verbeteren van de jaarstukken en de bruikbaarheid van indicatoren in het bijzonder. Tegelijkertijd benadrukken wij dat de gemeenteraad het probleem niet moet oplossen, maar nadrukkelijk en hardnekkig moet agenderen. De huidige tekortkomingen zijn een probleem voor de gemeenteraad, maar niet een probleem van de gemeenteraad. Het is de taak van het college en de ambtelijke organisatie om tot een heldere en bruikbare verantwoording met indicatoren te komen.

Breng randvoorwaarden op orde

Het huidige systeem van het tot stand komen van de indicatoren moet flink worden verbeterd. We raden aan om eerst aandacht te hebben voor de randvoorwaarden waarbinnen de noodzakelijke verbetering moet worden gerealiseerd. Het gaat dan allereerst om de tijd die wordt uitgetrokken om de indicatoren te verbeteren. Dit moet realistisch zijn en ingebed in een planmatige aanpak. Maar het is ook noodzakelijk om de verantwoordelijkheid duidelijk te beleggen. Bij de aanbeveling hiervoor (aanbeveling 1) pleiten we ervoor dat het gevoel van verantwoordelijkheid tot in de haarvaten van de ambtelijke organisatie moet doordringen. Maar dat neemt niet weg dat uiteindelijk één persoon of één afdeling zich eindverantwoordelijk moet voelen en moet kunnen ingrijpen als dat nodig is. Tot slot moet vooraf worden nagedacht over de wijze waarop indicatoren worden ingezet om op inzichtelijke wijze verantwoording af te leggen. Wij pleiten voor het vooropstellen van het verhaal van de verantwoording: indicatoren moeten een logisch en samenhangend verhaal vormen met elkaar en met de omliggende teksten.

Aanbeveling 2: Ruim realistisch tijd in voor verbetering

Een realistische planning is een belangrijke voorwaarde om daadwerkelijk de benodigde verbeteringen te kunnen realiseren. Het doel is te komen tot bruikbare indicatoren die specifiek geformuleerd zijn, gebaseerd zijn op betrouwbare meetgegevens, relevante informatie opleveren, in samenhang zijn opgesteld en voldoende begrijpelijk zijn voor geïnteresseerden. Dit is geen eenvoudige opgave. Voor het verbeteren van de kwaliteit van de indicatoren is daarom voldoende tijd nodig en een planmatige aanpak.

Achterliggende bevindingen

We constateren al vanaf 2007 dat de informatiewaarde van de jaarstukken onvoldoende is. De rode draad uit de conclusies van deze onderzoeken is dat er een voorzichtige opgaande lijn zichtbaar is in het gebruik van indicatoren. Tegelijkertijd constateerden we telkens de nodige tekortkomingen. Zo werd gewezen op de noodzaak doelstellingen beter te formuleren, goed onderscheid te maken tussen effect- en prestatie-indicatoren en de noodzaak duidelijk te maken wat de streefwaarden zijn. Verder werd gepleit voor het zorgen voor een goede aansluiting op de ambities van het college en er tegelijkertijd voor te zorgen dat de reguliere activiteiten van de gemeente niet onderbelicht zijn.

De doelenboom in 2018 moest in korte tijd worden opgesteld: tussen het moment waarop het nieuwe college was gevormd (voor de zomer) en de behandeling van de Begroting 2019 (in het najaar). Uiteindelijk is de eerste versie van de doelenboom eind 2018 gepubliceerd. Dit betekent dat de eerste doelenboom in feite in minder dan een half jaar is opgesteld terwijl er sprake was van een totaal herontwerp.

Ook zien wij dat er onrealistische beloften tot verbetering worden gedaan. Dit zagen wij bij de reactie van DMC bij het feitelijk wederhoor van ons eerste deelonderzoek dat nog was gebaseerd op de Begroting 2019. DMC gaf daarin aan dat de doelenboom nog in ontwikkeling was en dat er bij de Begroting 2020 sprake zou zijn van een volwaardige doelenboom. Uit ons onderzoek blijkt duidelijk dat de gemeente daar nog onvoldoende in geslaagd is.

Maak een meerjarenplan om de indicatoren stapsgewijs te verbeteren
Juist omdat we zien dat het zorgen voor verbetering bij de indicatoren lastig is, raden we aan dit stapsgewijs te doen en uit te gaan van een realistisch tijdpad. De huidige doelenboom is tot stand gekomen onder hoge druk in een korte tijdsperiode. Voor een echte verbetering van de kwaliteit van de jaarstukken en de indicatoren in het bijzonder, is echter meer tijd nodig en een stapsgewijze aanpak. Deze aanpak start met het opstellen van een meerjarenplan. In dit meerjarenplan is het vooral van belang om niet te proberen het, opnieuw, in één keer snel goed te doen. Er moet immers worden nagedacht over wat de essentie is van gemeentelijke activiteiten en doelen en hoe deze het beste met indicatoren kunnen worden gevat. En dat is niet eenvoudig. Ook moet worden voorkomen dat goede indicatoren verloren gaan in een overhaaste aanpak. Onderdeel van de planmatige aanpak moet zijn dat wat goed is pas wordt vervangen als er iets beters beschikbaar is.

In het meerjarenplan moet tot slot natuurlijk rekening worden gehouden met het aantreden van een nieuw college en daarmee het opstellen van een nieuwe doelenboom in 2022. Echter dit is geen vrijbrief om niet nu al te werken aan verbetering. Wij kunnen ons voorstellen dat eerst gewerkt wordt aan de verbetering van twee programma's om dit in de loop der jaren verder uit te bouwen. Een andere mogelijkheid is om eerst de meer beheersmatige indicatoren tegen het licht te houden. Als dit deel op orde is, is er bij het aantreden van een nieuw college meer ruimte voor het bepalen van indicatoren voor het meten van doelen en prioriteiten die voortvloeien uit het coalitieakkoord. Maar de kern van onze aanbeveling is dat er nu al systematisch kan (en moet) worden gewerkt aan het op orde krijgen van de basis.

Bewaak de uitvoering van het meerjarenplan en spreek het college hierop aan
Wij zien de verbetering van de kwaliteit van de informatiewaarde van de jaarstukken nadrukkelijk als een verantwoordelijkheid van alle betrokkenen: gemeenteraad, college en ambtelijke organisatie. Maar van de gemeenteraad wordt bij deze aanpak vooral alertheid verwacht. De gemeenteraad moet kritisch naar het meerjarenplan kijken. Verwacht de gemeenteraad dat dit plan leidt tot een betere informatievoorziening? Het is ook nuttig om dit plan als raad formeel vast te stellen en vervolgens te bewaken dat er voortgang zit in het verbeteren van de informatiewaarde van de jaarstukken. Wij adviseren de gemeenteraad daarom met het college af te spreken om periodiek de gemeenteraad te informeren over de voortgang van het meerjarenplan.

Houd ruimte voor tussentijdse wijzigingen
De indicatoren moeten bijdragen aan het verhaal dat de gemeente wil vertellen. Dat verhaal zal in de loop der tijd veranderen. De indicatoren zijn dus niet in beton gegoten. Er zullen altijd redenen blijven waarom indicatoren vervangen moeten worden. Het is dan ook goed om na te denken over een standaard werkwijze om indicatoren aan te kunnen passen of te vervangen zonder dat daarbij het inzicht en het zicht op trends verloren gaan.

Aanbeveling 3: Beleg de verantwoordelijkheid voor indicatoren helder

Het belang van bruikbare indicatoren moet door iedereen in de ambtelijke organisatie worden ervaren. Maar het is ook nodig de eindverantwoordelijkheid duidelijk te beleggen. De eindverantwoordelijke persoon of afdeling kan de ambtelijke organisatie aanspreken als de noodzakelijke verbeteringen uitblijven en dit desnoods afdwingen. Deze persoon of afdeling moet daarvoor de benodigde positie en doorzettingsmacht krijgen.

Achterliggende bevindingen

De doelenboom is in 2018 opgesteld onder regie van de DMC. DMC wil wel de kwaliteit van de jaarstukken en indicatoren verbeteren, maar benadrukt dat de verantwoordelijkheid voor de inhoud van het programma bij de directies ligt. DMC heeft daarin - anders dan een adviserende functie - geen rol of doorzettingsmacht.

Voor de totale inhoud van de doelenboom is niet één persoon of organisatieonderdeel eindverantwoordelijk. Er is op dit moment sprake van een gedeelde verantwoordelijkheid van DMC, de inhoudelijke directies, het Gemeentelijk Managementteam en het college.

DMC stelt geen zicht te hebben of dit proces met gedeelde verantwoordelijkheden een voldoende relevante doelenboom met indicatoren heeft opgeleverd die de uiteenlopende activiteiten en doelen van de gemeente adequaat beschrijft. Wel ziet DMC verschillen tussen de programma's.

In de eindrapportage financiële enquêtecommissie werd ook al geconcludeerd dat over de hele linie onduidelijkheid is over wie verantwoordelijk is voor welke taken.

Beleg de verantwoordelijkheid voor indicatoren helder
We raden aan om de eindverantwoordelijkheid voor de kwaliteit van de indicatoren te beleggen bij één persoon of afdeling. Het huidige uitgangspunt dat ervan uitgaat dat er een gedeelde verantwoordelijkheid is voor de inhoud van de jaarstukken, leidt er veelal toe dat niemand zich verantwoordelijk voelt. Wij adviseren dat de aangewezen persoon of afdeling zowel de kwaliteit van de inhoud als het proces bewaakt. Daarbij moet deze persoon of afdeling voldoende doorzettingsmacht krijgen om bij onvoldoende kwaliteit verbeteringen af te dwingen.

Aanbeveling 4: Zet het verhaal voorop

Het systeem van indicatoren in een doelenboom moet een logisch samenhangend verhaal vertellen. Dit verhaal moet een zo volledig mogelijk beeld geven van de doelen die de gemeente wil bereiken en de activiteiten die de gemeente uitvoert om die doelen te behalen. Het zal daarvoor nodig zijn om keuzes te maken over welk verhaal precies moet worden verteld en wie de doelgroep is voor dit verhaal. Deze keuzes moeten gebaseerd zijn op een visie en consequent in alle jaarstukken worden doorgevoerd. Onderdeel hiervan is ook een oplossing voor het wel of niet gebruiken van de door het BBV verplichtgestelde indicatoren.

Achterliggende bevindingen

De indicatoren vormen geen logisch verhaal binnen de doelenboom. De indicatoren geven onvoldoende de essentie weer van de activiteiten en de doelen waarbij ze horen en er is veelal geen sprake van een logische samenhang tussen doelen, doelindicatoren, activiteiten en activiteitindicatoren.

De indicatoren worden niet adequaat toegelicht in de begroting. Dit maakt dat onvoldoende duidelijk is wat de indicatoren meten, op welke manier de streefwaarden behaald worden en wat de reden is om juist deze indicator op te nemen.

Voor gemeenteraadsleden en inwoners van Amsterdam hebben de indicatoren onvoldoende informatiewaarde.

Gemeenteraadsleden gaven aan met behulp van indicatoren meer zicht te willen krijgen op de langetermijnontwikkeling. Ook gaven ze aan zicht te willen hebben op de realisatie van de collegedoelen.

Heb oog voor de complexiteit, maar maak duidelijke keuzes
Het verhaal voorop stellen betekent dat eerst moet worden vastgesteld wat het verhaal is dat verteld moet worden. Wat is de essentie van bijvoorbeeld het betreffende programma in de begroting of jaarrekening: hoe wordt gekozen tussen hoofd- en bijzaken? We zien dat het complex is om de essentie van dat verhaal te vatten. Wij denken dat dat deels te maken heeft met het feit dat verschillende doelgroepen andersoortige informatie belangrijk vinden. Maar ook met het feit dat er een verschil is tussen wat bestuurlijk prioriteit heeft en wat juist gaat over de doorlopende activiteiten en taken van de gemeente. Het oplossen van deze complexiteit vergt een visie en duidelijke keuzes die consequent worden doorgevoerd in alle jaarstukken.

Gebruik BBV-indicatoren waar het kan
Vanuit het BBV zijn indicatoren voorgeschreven die verplicht in de jaarstukken moeten worden opgenomen. In sommige gevallen zijn deze indicatoren voor de gemeente Amsterdam niet-relevant of alleen relevant als meetwaarde om een vergelijking met andere gemeenten mogelijk te maken. Deze verplichte BBV-indicatoren worden niet ingevuld in de jaarstukken of passen niet goed in het verhaal dat wordt verteld. Wij raden daarom aan de vanuit het BBV verplichte indicatoren in een bijlage op te nemen. Dan voldoet de gemeente nog steeds aan de verplichting, maar staan deze indicatoren het vertellen van een helder verhaal niet in de weg. Mocht een indicator toch een nuttig inzicht geven, dan kan deze alsnog ook in de hoofdtekst van de jaarstukken worden opgenomen.

Voer concrete verbeteringen door bij indicatoren

Hiervoor hebben wij gepleit voor het belang van de juiste houding en het belang van het op orde brengen van de randvoorwaarden. Maar uiteindelijk moeten er ook concrete verbeteringen worden gerealiseerd. Daarvoor is een verzameling van heldere criteria nodig die gehanteerd kan worden bij het uitwerken van nieuwe en beter bruikbare indicatoren. Om de informatieve waarde van de jaarstukken (en de indicatoren daarin) te verbeteren is het ook nuttig om meer gebruik te maken van een gelaagde rapportage. Daarin is meer ruimte voor toelichting zonder dat de jaarstukken overweldigend en ontoegankelijk worden voor lezers.

Aanbeveling 5: Hanteer duidelijke criteria voor bruikbare indicatoren

Om te zorgen dat indicatoren bruikbaar zijn en zorgen voor inzicht in de stand van zaken rondom het behalen van doelen en het uitvoeren van activiteiten, moeten kwaliteitscriteria worden bepaald die aangeven wanneer de kwaliteit voldoende is. Wij hebben een lijst met criteria opgesteld waarmee bepaald kan worden of de kwaliteit voldoende is. Alle indicatoren die in de jaarstukken zijn opgenomen zouden ons inziens aan al die criteria moeten voldoen.

Achterliggende bevindingen

De gemeente heeft bij het opstellen van de doelenboom een richtlijn meegegeven voor de formulering van de indicator. In deze instructie werd slechts op hoofdlijnen aangegeven waar de formulering van doelen, activiteiten en indicatoren aan moet voldoen.

Wij constateren ook in eerdere rapporten dat de kwaliteit van de instructie om te komen tot goede indicatoren onvoldoende was.

Criteria voor bruikbare indicatoren
Wij adviseren om gezamenlijk (ambtelijke organisatie en college) kwaliteitscriteria vast te stellen die maken dat een indicator van voldoende kwaliteit is. Op grond van onze bevindingen zien we verschillende knelpunten bij de opgestelde indicatoren terugkomen die wij hebben omgevormd tot voorwaarden waaraan een bruikbare indicator moet voldoen. Normaliter werken wij onze aanbeveling niet zo gedetailleerd uit. Maar omdat dit zo’n hardnekkig probleem is waar wij al lang aandacht voor vragen, hebben wij dat voor deze keer wel gedaan. Daarbij hebben wij ons gebaseerd op zowel de uitgangspunten van het zogenoemde SMART principe als op meer algemene criteria voor beleidsinformatie.  Onze uitwerking geven we weer in onderstaande tabel.

Tabel 7.1 - Voorwaarden voor een goede indicator
Een bruikbare indicator…Toelichting
is eenduidig te interpreterenDe indicator is zodanig beschreven dat duidelijk is wat wordt gemeten en dit ondubbelzinnig is te interpreteren. Vermeden moet worden dat een indicator meerdere verschillende activiteiten tegelijkertijd meet.
biedt historisch perspectiefDe indicator bevat kwantitatieve informatie over resultaten uit het verleden. Minimaal bevat een indicator hiervoor één peilwaarde die zo is gekozen dat deze de realisatie en de vooruitblik in een zinnig historisch perspectief plaatst.
geeft inzicht in realisatieDe indicator geeft kwantitatief weer wat de geleverde prestaties zijn of dat het effect bereikt is. De lezer wordt niet verwezen naar andere documenten om deze informatie op te zoeken.
blikt vooruitDe indicator laat kwantitatief zien wat er in de toekomst wordt nagestreefd. Het is voorstelbaar dat voor een indicator niet altijd een expliciete doelstelling is geformuleerd, bijvoorbeeld omdat het vooral gaat om het kunnen volgen aan ontwikkeling en niet om het interveniëren daarin. Maar in deze gevallen is het minimaal noodzakelijk om een inschatting van de verwachte ontwikkeling op te nemen: een prognose.
is betrouwbaar en reproduceerbaarDe cijfers in de indicator moeten betrouwbaar tot stand zijn gekomen. Het moet hiervoor ten minste inzichtelijk zijn aan welke (betrouwbare) bron de cijfers zijn ontleend en op welke wijze dit is gedaan. De gebruikte bronnen, definities en methodes moeten helder zijn vastgelegd zodat de indicator reproduceerbaar is en ook in de toekomst consistent kan worden gerapporteerd. Dit is essentieel om ook over langere tijd meerjarig inzicht te kunnen geven.
is relevantDe indicator moet een relevant inzicht geven in een activiteit of nagestreefd doel. Zorg ervoor dat ook ambtenaren van de werkvloer meedenken over de relevantie van indicatoren.
sluit aan op indicatoren uit vastgesteld beleidDe indicator en de daarin weergegeven cijfers sluiten aan op het vastgestelde beleid en de daarin opgenomen indicatoren. Voorkomen moet worden dat de indicator in de begroting een totaal ander beeld of invalshoek geeft op een beleidsveld dan in de relevante beleidsdocumenten zelf wordt geschetst.
hangt logisch samen met andere indicatoren, doelen en activiteiten in de begrotingDe indicator heeft een logische samenhang binnen het geheel van de doelenboom. De indicator past niet alleen logisch bij het beschreven doel of de activiteit, maar past ook logisch bij het bovenliggende doel of juist de onderliggende activiteiten. De indicator draagt met andere woorden bij aan een samenhangend geheel.
wordt toegelichtDe indicator is voorzien van een toelichting. Uit de toelichting moet duidelijk worden wat de betekenis en relevantie is van de indicator en moet een duiding worden gegeven van de peilwaarde, realisatie en vooruitblik.

Aanbeveling 6: Zorg voor een gelaagde presentatie van de jaarstukken

En toelichting op de indicatoren is noodzakelijk om de indicator goed te begrijpen, de streefwaarden en de ontwikkeling daarvan te kunnen duiden en de indicatoren op de juiste manier te interpreteren. Dit lijkt haaks te staan op het uitgangspunt om te streven naar compacte jaarstukken. Maar het één hoeft het ander zeker niet uit te sluiten. Door de jaarstukken op een gelaagde wijze aan te bieden kan de lezer zelf bepalen welke mate van detail gewenst is. Met behulp van vormgeving, het gebruik van digitale informatievoorziening, of aanvullende bijlagen kan extra inzicht worden geboden, zonder dat dit ten koste gaat van de compactheid van de jaarstukken.

Achterliggende bevindingen

De meeste indicatoren worden niet toegelicht in de teksten horende bij het programma. De teksten zorgen niet voor een begrijpelijke indicator door het belang van de indicator uit te leggen, duiding te geven aan de ontwikkeling van de streefwaarden en duidelijk te maken hoeveel geld er gemoeid is met de specifieke activiteit waarop de indicator betrekking heeft.

Volgens DMC is het niet haalbaar om in de huidige begroting voor elke indicator een volledige toelichting op te nemen. Het uitgangspunt is namelijk dat de begeleidende teksten in de begroting van geringe omvang zijn. Volgens DMC sluit dit aan op de wens van de raad om de planning & control producten kort en bondig te houden. Daarom is gekozen om alleen een toelichting te geven op een indicator als daar aanleiding toe is. Er bestaat echter ook geen ander integraal document waarin de toelichtingen, waarvoor in de begroting geen ruimte is, wél zijn opgenomen.

De informatiewaarde van de begroting voor een geïnteresseerde Amsterdammer is zeer gering. De vragen die de inwoners van Amsterdam hebben na het lezen van de indicatoren, hebben wij namelijk niet kunnen beantwoorden op basis van informatie uit de begroting. Voor de beantwoording hebben wij gebruikgemaakt van allerlei aanvullende (beleids)documenten.

Bied de informatie op een gelaagde wijze aan
Wij adviseren om in het eerder genoemde stappenplan ter verbetering van de informatiewaarde van de jaarstukken (aanbeveling 2) ook aandacht te besteden aan de vormgeving en opbouw van de jaarstukken door de jaarstukken op een gelaagde wijze te presenteren. Het hoofddocument kan compact blijven als er op een eenvoudige wijze extra informatie kan worden verkregen. Dat is nog iets anders dan een doorklikbaar pdf-document, zoals de gemeente bij de Begroting 2020 beschikbaar heeft gesteld. Daarbij wordt nog steeds gewerkt vanuit de grenzen van een papieren format. Door meer uit te gaan van een digitaal document is het mogelijk om veel meer en meer gevarieerde gelaagdheid aan te brengen in documenten. Uitgangspunt hierbij zou moeten zijn dat een lezer naar behoefte meer gedetailleerde informatie kan krijgen. Zo blijft het hoofddocument compact, maar neemt de informatieve waarde sterk toe. Voor een dergelijke vormgeving kan inspiratie worden gevonden bij andere gemeenten, zoals Utrecht of Eindhoven. Een aandachtspunt is dat het uiteindelijk moet gaan om het verhogen van de informatieve waarden van de jaarstukken. Met alleen een mooie verpakking schiet dat niet op.

Reactie college en nawoord rekenkamer

Op 8 april 2020 hebben wij dit rapport voorgelegd aan het college van Burgemeester en Wethouders voor een reactie. Op 28 mei 2020 hebben wij de reactie ontvangen (gedateerd op 26 mei 2020). Hierna volgt de integrale tekst van de reactie van het college van Burgemeester en Wethouders. Daarna geven wij ons nawoord op deze reactie.

Bestuurlijke reactie

Geachte heer De Ridder, × Download Bestuurlijke reactie

Op 8 april 2020 heeft het college het concept-bestuurlijk rapport van de Rekenkamer Metropool Amsterdam over het onderzoek Bruikbaarheid van indicatoren ontvangen. Het college bedankt de rekenkamer voor het rapport, de deelonderzoeken en de zes aanbevelingen die de rekenkamer geeft. Hierbij ontvangt u de bestuurlijke reactie van het college op het rapport.

De centrale onderzoeksvraag van het onderzoek naar de Bruikbaarheid van indicatoren luidt als volgt: Bieden de indicatoren uit de begroting een bruikbaar inzicht in de doelen en activiteiten van de gemeente Amsterdam?
De hoofdconclusie van de rekenkamer is dat ‘de indicatoren in de begroting niet bruikbaar zijn’. De formulering van de indicatoren schiet volgens de rekenkamer vaak tekort, de relevantie blijkt regelmatig onvoldoende, de indicatoren zijn moeilijk te begrijpen en de betrouwbaarheid van de gerapporteerde cijfers is niet in alle gevallen gegarandeerd.

Algemene reactie
Het college is van mening dat de doelenboom, ondanks dat deze nog niet in vol ornaat is opgetuigd, een bruikbaar instrument is om de voortgang op het beleid te volgen. Het college erkent de imperfecties, maar deelt de conclusie van de rekenkamer niet dat het een onbruikbaar instrument betreft. Hieronder volgt een korte schets van de aanpassingen in de doelenboom die In deze bestuursperiode zijn doorgevoerd. De koppeling tussen doelen, activiteiten en indicatoren is, vergeleken met de vorige periode, verbeterd. Het college onderschrijft dat verdere verbeteringen mogelijk en nodig zijn en gaat graag het gesprek aan met de raad hoe deze verbeterslag, in goed samenspel tussen college en raad, tot stand kan worden gebracht.

Het college haalt graag eerst nog even de historie van de doelenboom aan. In de vorige collegeperiode waren meerdere doelen aan meerdere activiteiten gekoppeld, en vice versa. De raad heeft hier meermalen een opmerking over gemaakt, en heeft gevraagd de doelen en activiteiten te koppelen aan middelen. Dit college heeft dat opgepakt. We hebben in 2018 van een ‘doelenstruik’ een ‘doelenboom’ gemaakt, dat wil zeggen dat activiteiten hangen aan één doel, en doelen hangen aan één programmaonderdeel (tegen een achtergrond van het opstellen van een nieuwe programmastructuur in de zomer van 2018). Tevens hebben we de doelenboom gekoppeld aan middelen.

In december 2018 heeft de raad de doelenboom ontvangen, waarbij het college heeft aangegeven de dialoog te willen voeren met de raad over de afwerking. Nadrukkelijk is aangeven dat het kiezen en bepalen van de indicatoren uiteindelijk een bevoegdheid is van de raad. Het college doet voorstellen en streeft uiteraard naar adequate indicatoren en voegt waar nodig streefwaarden toe. De doelenboom is in alle raadscommissies geagendeerd, met als doel te komen tot een actieve discussie en consensus over de op te nemen doelen, activiteiten en indicatoren, zodat dit een stabiel sturingsbeeld zou opleveren voor deze collegeperiode. Deze behandelingen in de commissies hebben tot aanvullingen en veranderingen in de doelenboom geleid.

Het advies van de rekenkamer geeft goede handvatten om deze dialoog met de raad weer op te pakken, zodat het college en de raad in gezamenlijke verantwoordelijkheid kan komen tot een stabiel geheel aan sturingsvariabelen in de P&C-producten. Hierbij zij aangetekend dat het een voortdurende zoektocht is en dat we kunnen leren van nieuwe ontwikkelingen.

In het concept-bestuurlijk rapport geeft de Rekenkamer zes aanbevelingen ter verbetering van de bruikbaarheid van de indicatoren. De bestuurlijke reactie van het college op de aanbevelingen wordt hieronder gegeven. Het college redeneert en formuleert in voorliggende bestuurlijke reactie vanuit één organisatie.  De interne governance is de verantwoordelijkheid van het dagelijks bestuur; de output en outcome is onderwerp van dialoog met de raad. Het college is en blijft altijd aanspreekbaar op het eindresultaat.

Reactie op de aanbevelingen
Aanbeveling 1: Zorg voor betrokkenheid om te komen tot bruikbare indicatoren
De jaarstukken moeten met indicatoren waardevolle informatie opleveren die inzicht geven in de doelen en de activiteiten van het gemeentelijk beleid. De constatering dat de gemeente er al jarenlang niet in slaagt om te zorgen voor dat inzicht, laat zien dat dit een hardnekkig probleem is. De oplossing hiervoor start met de houding. Het is noodzakelijk dat de informatiewaarde van de jaarstukken serieus wordt genomen en dat de betrokkenen de verantwoordelijkheid voelen om de informatiewaarde hiervan te verbeteren.

Aanbeveling 3: Beleg de verantwoordelijkheid voor indicatoren helder
Het belang van bruikbare indicatoren moet door iedereen in de ambtelijke organisatie worden ervaren. Maar het is ook nodig de eindverantwoordelijkheid duidelijk te beleggen. De eindverantwoordelijke persoon of afdeling kan de ambtelijke organisatie aanspreken als de noodzakelijke verbeteringen uitblijven en dit desnoods afdwingen. Deze persoon of afdeling moet daarvoor de benodigde positie en doorzettingsmacht krijgen.

Het college deelt de constatering van de rekenkamer dat betrokkenheid en verantwoordelijkheid nodig zijn om te komen tot bruikbare indicatoren. Wij zien die inzet ook terug in de organisatie. Bestuurlijke consensus over de op te nemen doelen, activiteiten en indicatoren is daarin een belangrijk startpunt. In de organisatieontwikkeling die het college voor ogen staat worden de doelen in de beleidsbegroting meer centraal gezet bij het sturen en beheersen van de ambtelijke organisatie. Hierbij past ook om na te gaan hoe verantwoordelijkheid voor indicatoren verduidelijkt kan worden, al dan niet via een eindverantwoordelijk persoon of afdeling. Het college zal dit een plek geven in de organisatieontwikkeling.

Gedurende het proces van de totstandkoming van de P&C-producten kan direct al extra aandacht voor de indicatoren georganiseerd worden. Zoals in de sessies die per programma worden gehouden. Gedurende deze sessie wordt het gehele programma voor het desbetreffende P&C-product doorgelopen. Op dit moment zijn de doelenboom en de indicatoren één van de aandachtspunten in de sessies, maar deze kunnen een meer prominente plek krijgen in de bespreking en voorbereiding.

Aanbeveling 2: Ruim realistisch tijd in voor verbetering
Een realistische planning is een belangrijke voorwaarde om daadwerkelijk de benodigde verbeteringen te kunnen realiseren. Het doel is te komen tot bruikbare indicatoren die specifiek geformuleerd zijn, gebaseerd zijn op betrouwbare meetgegevens, relevante informatie opleveren, in samenhang zijn opgesteld en voldoende begrijpelijk zijn voor geïnteresseerden. Dit is geen eenvoudige opgave. Voor het verbeteren van de kwaliteit van de indicatoren is daarom voldoende tijd nodig en een planmatige aanpak.

Aanbeveling 5: Hanteer duidelijke criteria voor bruikbare indicatoren
Om te zorgen dat indicatoren bruikbaar zijn en zorgen voor inzicht in de stand van zaken rondom het behalen van doelen en het uitvoeren van activiteiten, moeten kwaliteitscriteria worden bepaald die aangeven wanneer de kwaliteit voldoende is. Wij hebben een lijst met criteria opgesteld waarmee bepaald kan worden of de kwaliteit voldoende is. Alle indicatoren die in de jaarstukken zijn opgenomen zouden ons inziens aan al die criteria moeten voldoen.

Het college is het met de rekenkamer eens dat voor de verbetering van de indicatoren een realistisch tijdpad moet worden gekozen en sprake moet zijn van een planmatige aanpak. Het college stelt het op prijs dat de rekenkamer een gedetailleerde lijst heeft uitgewerkt met criteria voor indicatoren. Het college gaat graag in gesprek met de raad welke kwaliteitsverbetering aan de orde zou moeten zijn, welke inzet van middelen hierbij gewenst is en hoe dit op te nemen in een planmatige aanpak.

Aanbeveling 4: Zet het verhaal voorop
Het systeem van indicatoren in een doelenboom moet een logisch samenhangend verhaal vertellen. Dit verhaal moet een zo volledig mogelijk beeld geven van de doelen die de gemeente wil bereiken en de activiteiten die de gemeente uitvoert om die doelen te behalen. Het zal daarvoor nodig zijn om keuzes te maken over welk verhaal precies moet worden verteld en wie de doelgroep is voor dit verhaal. Deze keuzes moeten gebaseerd zijn op een visie en consequent in alle jaarstukken worden doorgevoerd. Onderdeel hiervan is ook een oplossing voor het wel of niet gebruiken van de door het BBV verplicht gestelde indicatoren.

Het college is het met  de rekenkamer eens dat de doelenboom een logisch en samenhangend verhaal zou moeten vertellen. De diversiteit van de programma’s en de vele doelen en activiteiten die hierbij horen, maakt dat de doelenboom voor sommige programmaonderdelen een grote hoeveelheid aan indicatoren laat zien. Door hier duidelijke keuzes in te maken kan mogelijk het grote aantal indicatoren worden beperkt wat het verhaal van de doelenboom te goede komt. In de beperking toont zich de meester.

Voor de verplichte BBV-indicatoren kan worden volstaan met het opnemen van de indicatoren zoals (grotendeels) gepubliceerd op waarstaatjegemeente.nl. In het BBV of de ministeriële regeling is het niet voorgeschreven dat ook streefwaarden moeten worden opgenomen. In de Begroting 2019 waren de verplichte BBV-indicatoren al eens opgenomen in een bijlage. Het college vindt het een goed idee om die bijlage weer toe te voegen.

Aanbeveling 6: Zorg voor een gelaagde presentatie van de jaarstukken
En toelichting op de indicatoren is noodzakelijk om de indicator goed te begrijpen, de streefwaarden en de ontwikkeling daarvan te kunnen duiden en de indicatoren op de juiste manier te interpreteren. Dit lijkt haaks te staan op het uitgangspunt om te streven naar compacte jaarstukken. Maar het één hoeft het ander zeker niet uit te sluiten. Door de jaarstukken op een gelaagde wijze aan te bieden kan de lezer zelf bepalen welke mate van detail gewenst is. Met behulp van vormgeving, het gebruik van digitale informatievoorziening, of aanvullende bijlagen kan extra inzicht worden geboden, zonder dat dit ten koste gaat van de compactheid van de jaarstukken.

Het college deelt de constatering van de rekenkamer dat een toelichting op de indicatoren noodzakelijk is om de indicator goed te begrijpen. Het college is er voor om het opstellen van een dergelijke bijlage met toelichting mee te nemen in de jaarstukken.

Hoogachtend,

Namens het college van burgemeester en wethouders van Amsterdam,

Victor Everhardt
Wethouder Financiën

Nawoord rekenkamer

Wij danken het college voor de reactie op dit rapport over de bruikbaarheid van indicatoren. Het college onderkent dat verbeteringen in de indicatoren mogelijk en nodig zijn. Alle aanbevelingen worden dan ook door het college overgenomen. Tegelijkertijd neemt het college afstand van onze hoofdconclusie dat de indicatoren in de begroting niet bruikbaar zijn. Volgens het college is er weliswaar sprake van imperfecties, maar is er geen sprake van een ‘onbruikbaar instrument.’

In dit nawoord zullen we eerst reageren op de stellingname van het college dat de huidige indicatoren voldoende bruikbaar zijn. Juist omdat wij van mening zijn dat het onderkennen van het probleem essentieel is om de gewenste houding bij het oplossen daarvan te bewerkstelligen. Dit geldt ook voor het onderkennen dat er sprake is van onvoldoende belegde verantwoordelijkheid en onvoldoende betrokkenheid van de ambtelijke organisatie bij indicatoren. Daarbij zien wij in de reactie ook dat het college een deel van de verantwoordelijkheid voor verbetering van de indicatoren uiteindelijk bij de gemeenteraad legt. Ook op dit punt zullen wij in dit nawoord ingaan. Tot slot zullen we nog expliciet stilstaan bij de reactie van het college op de aanbevelingen 2 (Ruim realistisch tijd in voor verbetering) en 6 (Zorg voor een gelaagde presentatie van de jaarstukken).

Bruikbaar of onbruikbaar?
In dit onderzoek concluderen wij dat de huidige indicatoren niet bruikbaar zijn. Niet alleen is slechts 28% van de indicatoren volledig ingevuld met cijfers, maar de indicatoren schieten ook tekort op het vlak van relevantie en begrijpelijkheid, en het valt niet uit te sluiten dat er ook onbetrouwbare indicatoren worden gepresenteerd. Het college geeft daarentegen aan dat er geen sprake is van een onbruikbaar instrument. Het kan zijn dat het college hier de theoretische bruikbaarheid heeft willen onderstrepen. Dat wil zeggen dat het college aangeeft te geloven in de meerwaarde die indicatoren in theorie kunnen bieden. Als dit is wat het college bedoelde, dan delen wij die visie. Maar door te spreken van ‘imperfecties’ lijkt het er toch op dat het college het standpunt inneemt dat er op dit moment al sprake is van een voldoende bruikbaar instrument. Tegelijkertijd draagt het college hiervoor geen argumenten aan.

Wij hebben in dit onderzoek gezien dat er stappen voor verbeteringen van de bruikbaarheid van indicatoren zijn gezet, zoals ook benoemd door het college, maar het geheel blijft onvoldoende helder, relevant, begrijpelijk en betrouwbaar. Onderkennen dat de indicatoren op dit moment (en de voorgaande 17 jaar) onvoldoende bruikbaar zijn, is een belangrijke stap om tot verbetering te komen. Pas dan kan het momentum ontstaan voor de noodzakelijke veranderingen in houding bij de ambtelijke organisatie. Zoals wij ook met onze eerste aanbeveling (Zorg voor betrokkenheid om te komen tot bruikbare indicatoren) benadrukken is dit essentieel, want verbetering begint met de juiste houding.

Verantwoordelijkheid en betrokkenheid ambtelijke organisatie
Het belang van het onderkennen van het probleem gaat ook op voor de reactie op onze eerste aanbeveling en onze derde aanbeveling (Beleg de verantwoordelijkheid voor indicatoren helder). Daarbij geeft het college aan onze constatering te delen dat betrokkenheid en verantwoordelijkheid noodzakelijk zijn om te komen tot bruikbare indicatoren. Het college stelt echter “die inzet ook terug [te zien] in de organisatie.” Wat betreft dit laatste benadrukken wij dat onze indruk toch echt anders is. Een rode draad in de gesprekken die wij hebben gevoerd voor dit onderzoek is dat ambtenaren zich niet verantwoordelijk voelden, niet betrokken waren bij de indicator, de indicatoren niet relevant vonden voor hun werkzaamheden of de samenhang tussen de indicator en het doel niet zagen. Van een duidelijke eindverantwoordelijkheid lijkt geen sprake. Het is positief dat het college van plan is om na te gaan hoe de verantwoordelijkheid voor indicatoren verduidelijkt kan worden en hiervoor een plaats ziet in de organisatieontwikkeling bij het sturen en beheersen van de ambtelijke organisatie. Maar dat neemt niet weg dat het van groot belang is dat eerst wordt onderkend dat de verantwoordelijkheid en betrokkenheid van de ambtelijke organisatie bij indicatoren niet op het gewenste niveau is.

Verantwoordelijkheid en betrokkenheid gemeenteraad
In de bestuurlijke reactie benadrukt het college meermaals de rol van de gemeenteraad. Het college geeft terecht aan dat de gemeenteraad en het college gezamenlijk tot de beste sturingsvariabelen moeten komen en dat er een bestuurlijke consensus moet zijn over de op te nemen doelen, activiteiten en indicatoren. Het college geeft daarbij meermaals aan met de gemeenteraad in gesprek te willen gaan over de noodzakelijke verbeteringen. Wij wijzen hierbij op het risico van het afschuiven van verantwoordelijkheid. Voorkomen moet worden dat de gedachte post vat dat het aan de gemeenteraad is om te bewaken dat de indicatoren van voldoende kwaliteit zijn en om aan te geven wat er beter kan. Het is wat ons betreft nadrukkelijk in eerste instantie aan het college en de ambtelijke organisatie om zorg te dragen dat de indicatoren voldoende bruikbaar zijn en blijven. De gemeenteraad kan daar vervolgens haar oordeel over geven. Wij zijn bereid om desgewenst de gemeenteraad bij dit proces te ondersteunen.

Een planmatige aanpak voor verbetering
Het college onderschrijft onze tweede aanbeveling (Ruim realistisch tijd in voor verbetering) waarin wij pleiten voor een planmatige aanpak van het hele verbeterproces. In de reactie wijdt het college echter niet verder uit over hoe zij dit verder vorm wil gaan geven. We hebben in overleg met het presidium besloten om voortaan in het raadsvoorstel bij elk onderzoeksrapport het beslispunt op te nemen dat het college wordt gevraagd om binnen afzienbare tijd met een plan van aanpak te komen waarin staat hoe aan de aanbevelingen uitvoering zal worden gegeven.  Wij adviseren de gemeenteraad te vragen om in dat plan ook nadrukkelijk aandacht te besteden aan hoe het college het verbeterproces voor zich ziet en op welke termijn het college voornemens is welke stappen in het verbeterproces te zetten. Wij benadrukken daarbij dat het hier niet gaat om het zo snel mogelijk willen verbeteren van de indicatoren, maar dat het vooral moet gaan om een realistisch tijdpad waarbij systematisch wordt gewerkt aan verbeteringen.

Een gelaagde presentatie
In onze zesde aanbeveling (Zorg voor een gelaagde presentatie van de jaarstukken) pleiten wij voor een verbetering van de vormgeving en opbouw van de jaarstukken door een gelaagde wijze van presenteren. Zodat op die manier een lezer zelf de keuze heeft voor een meer of mindere mate van gedetailleerde informatie. Een van de redenen waarom we dit aanbevelen heeft te maken met het ontbreken van een toelichting op de gekozen indicatoren. Het college geeft aan deze toelichting in een bijlage te willen gaan verstrekken. Wij zijn uiteraard positief over het feit dat het college meer ruimte wil bieden aan toelichtingen op indicatoren. Tegelijkertijd willen wij benadrukken dat er voor betekenisvolle indicatoren dan ook een duidelijk verband moet zijn tussen deze bijlage met de hoofdtekst in de jaarstukken zelf. Een gelaagde presentatie waarin vanuit de jaarstukken zelf direct kan worden doorgeklikt naar de relevante achterliggende, meer gedetailleerde informatie kan daarvoor een oplossing bieden. Er moet in ieder geval voorkomen worden dat de indicatoren uitsluitend in de bijlage aan bod komen, dan gaat de relatie met het verhaal uit de jaarstukken immers verloren.

Onderzoeksverantwoording

Dit is het concept-bestuurlijk rapport van het onderzoek van de rekenkamer naar Bruikbaarheid van indicatoren. Het concept-bestuurlijk rapport betreft een samenvatting van onze conclusies en aanbevelingen. Het bijbehorende onderzoekrapport hebben wij eerder al gepubliceerd op 31 maart 2020 en staat op de projectpagina.

Onderzoeksteam

Rekenkamer Amsterdam
Directeurdr. Jan de Ridder
OnderzoekersJ. Kooij (projectleider)
 D. van der Wiel
 R. van de Maat
 M. Leenheer

Afbakening en aanpak

In dit onderzoek richten wij ons op de bruikbaarheid van de indicatoren uit de Begroting 2020 van de gemeente Amsterdam. De basis voor deze indicatoren is gelegd in de doelenboom die in december 2018 door de gemeenteraad is vastgelegd. In de begroting staan zowel indicatoren voor doelen als activiteiten. Beide soorten indicatoren hebben wij meegenomen in dit onderzoek. We keken daarbij niet alleen of de doelenboom een bruikbaar inzicht oplevert voor raadsleden en professionals, maar ook in hoeverre deze informatie bruikbaar is voor geïnteresseerde burgers.

Voor dit onderzoek hebben we meerdere onderzoeksactiviteiten uitgevoerd. We hebben eerst vijf indicatoren geselecteerd en deze onderzocht op bruikbaarheid. Deze deelonderzoeken hebben geleid tot aparte publicaties die we hebben gepubliceerd op onze website en ter kennisname aan de gemeenteraad hebben gestuurd. Vervolgens hebben we de bevindingen uit deze deelonderzoeken nader beschouwd en aanvullende onderzoekswerkzaamheden uitgevoerd. Hierover hebben we in een afsluitend onderzoeksrapport gerapporteerd. De eerder gepubliceerde deelonderzoeken en het afsluitende onderzoeksrapport zijn hier te vinden.