Indicatoren discriminatie
Bestuurlijk rapport

Grip op het antidiscriminatiebeleid

Samenvatting

De gemeente Amsterdam wil allerlei doelen halen voor de stad. Ze gebruikt indicatoren om te laten zien hoe het daarmee staat. Een van haar doelen is het verminderen van discriminatie in Amsterdam. Wij onderzochten of de begrotingsindicatoren van het antidiscriminatiebeleid bruikbaar zijn. En of de raad ze gebruikt. Ons onderzoek is af en staat vanaf vandaag online. Onze conclusie? De indicatoren zijn niet bruikbaar genoeg en de raad gebruikt ze bijna niet.

Indicatoren zijn niet bruikbaar genoeg
De indicatoren van het antidiscriminatiebeleid geven de raad geen goed beeld van hoe het gaat op het antidiscriminatiebeleid. De indicatoren zijn duidelijk verwoord. Maar twee van de drie indicatoren zeggen niks over de doelen die de gemeente wil halen. Ook vinden we dat de indicatoren weinig inzicht geven in wat de gemeente doet om discriminatie te verminderen. Dit vinden de ambtenaren ook. Daarnaast zijn de cijfers van de indicatoren vaak fout, waardoor de indicatoren niet betrouwbaar zijn. Als laatste geeft het college weinig uitleg bij de indicatoren. Hierdoor is niet goed te begrijpen waarom de indicatoren belangrijk zijn en wat ze betekenen.

Raad gebruikt de indicatoren bijna niet
Raadsleden gebruiken de indicatoren bijna niet. De raad vindt de indicatoren niet veel zeggen over het antidiscriminatiebeleid. Daarom gebruiken raadsleden andere documenten om meer te weten te komen over hoe het gaat. Maar de raadsleden vinden de informatie die ze nu krijgen niet duidelijk genoeg. Het is voor hen moeilijk te volgen wat de gemeente precies doet om discriminatie tegen te gaan.

Ons advies aan het college
Het college werkt al aan een plan om de resultaten van het antidiscriminatiebeleid beter te laten zien. Als eerste raden we het college aan om binnen dit beleid indicatoren te kiezen die iets zeggen over de doelen van het beleid. En over wat de gemeente doet om die doelen te halen. Ten tweede adviseren we om rondom de indicatoren een vaste manier van werken te ontwikkelen. Dit om fouten in de cijfers te voorkomen. Ons laatste advies is om te onderzoeken wat een goede manier is om de raad uitleg en meer informatie bij de indicatoren te geven. De ambtenaren en de raad vinden extra informatie belangrijk. Maar er is weinig ruimte in de documenten waarin de indicatoren staan. Het college kan deze documenten bijvoorbeeld digitaal verbinden met andere documenten waarin meer details staan.

De burgemeester en wethouders zijn het eens met onze conclusies. Zij geven ook aan dat ze alle aanbevelingen zullen opvolgen. In ons nawoord geven we daarvoor een paar aandachtspunten mee.

Hoofdconclusie en analyse

De centrale onderzoeksvraag die we met dit onderzoek beantwoorden, luidt:

Dragen de indicatoren van het antidiscriminatiebeleid bij aan grip van de raad op het beleidsveld?

Hoofdconclusie
De indicatoren van het antidiscriminatiebeleid dragen weinig bij aan grip van de raad op het antidiscriminatiebeleid. De drie indicatoren uit de begroting – een doelindicator en twee activiteitindicatoren – geven onvoldoende inzicht in de uitvoering van dit beleid. Dat ligt niet aan de formulering van de indicatoren zelf; ze zijn duidelijk geformuleerd en ingevuld met kwantitatieve informatie. Maar de relevantie, betrouwbaarheid en begrijpelijkheid van de indicatoren is onvoldoende. De activiteitindicatoren zijn onvoldoende relevant omdat ze geen inzicht geven in wat de gemeente daadwerkelijk heeft gedaan om het doel dat zij nastreeft te bereiken. Alle drie de indicatoren van het antidiscriminatiebeleid zijn onvoldoende betrouwbaar en begrijpelijk. Veel waardes in de indicatoren zijn fout omdat deze, zonder dat de ambtelijke organisatie het doorhad, onjuist zijn overgenomen uit de rapportages die als bron zijn gebruikt. En er mist verduidelijking over het belang van de indicatoren, wat ze precies zeggen en wat de ontwikkeling op de indicatoren betekent in de context van het antidiscriminatiebeleid.

De ambtelijke organisatie is zelf ook niet tevreden over de indicatoren en zij spant zich in om betere indicatoren te ontwikkelen. Raadsleden maken weinig gebruik van de indicatoren. Dat komt met name doordat ook zij beperkte relevantie ervaren. Raadsleden informeren zich op andere manieren over het antidiscriminatiebeleid dan door de indicatoren. Maar de huidige informatie vanuit het college vinden ze niet concreet en navolgbaar genoeg om te kunnen sturen op het antidiscriminatiebeleid.

Analyse
De gemeente slaagt er vooralsnog niet goed in om voldoende bruikbare indicatoren over het antidiscriminatiebeleid in de begroting en het jaarverslag (de jaardocumenten)  op te leveren. Gedurende het onderzoek zijn we aanknopingspunten tegengekomen voor oorzaken en mogelijke gevolgen hiervan. In deze analyse gaan we daar nader op in.

Gelegenheidsindicatoren leiden tot ervaren gebrek aan relevantie
De keuze voor de huidige doel- en activiteitindicatoren is gemaakt aan het begin van de vorige bestuursperiode. In die keuze is informatie die toen al voorhanden was als uitgangspunt genomen, zodat cijfers relatief makkelijk aangeleverd konden worden. Daarbij lijkt de samenhang tussen de beschikbare informatie/cijfers en het ingezette beleid beperkt te zijn doordacht. Ondanks dat de keuze destijds waarschijnlijk met de beste intenties is gemaakt, leiden de ‘gelegenheidsindicatoren’ van destijds nu tot de situatie dat noch de ambtelijke organisatie, noch de raad, de indicatoren gebruikt. Dit omdat beiden de indicatoren onvoldoende relevant vinden. De ambtelijke organisatie kan met de indicatoren geen inzicht geven in de inspanningen van de gemeente op het beleidsveld antidiscriminatie. En de raad kan er niet mee sturen omdat de indicatoren niet laten zien wat het resultaat is van het gevoerde beleid.

Verantwoordingsinformatie verliest aan kwaliteit
Vanuit ons onderzoek rijst een beeld op van beperkte interesse in, beperkte kennis over en slordigheden in de omgang met de huidige drie begrotingsindicatoren. Het aanleveren van de indicatoren voor de jaardocumenten staat ver af van de dagelijkse bezigheden van de ambtenaren die wij spraken; het wordt gezien als een ‘moetje’. Bovendien worden de indicatoren niet gebruikt in andere voortgangsinformatie buiten de jaardocumenten om en is het aan de raad aangekondigde gesprek over de indicatoren niet gevoerd. Daarnaast is beschikbare verduidelijkende informatie over de indicatoren bij de ambtelijke organisatie niet bekend. Tot slot zijn de in de jaardocumenten gepresenteerde cijfers niet consistent en foutief overgenomen uit de broninformatie zonder dat de ambtelijke organisatie zich daarvan bewust was.

Dit alles is wellicht een logisch gevolg van het ervaren gebrek aan relevantie – en het daaruit voortkomende beperkte gebruik. Immers, waarom tijd en energie steken in indicatoren waarvan het belang beperkt wordt gezien? Zeker in een beleidsveld als antidiscriminatie, dat volop in beweging en ontwikkeling is, zijn er voortdurend andere activiteiten en prioriteiten die de aandacht en (schaarse) capaciteit van de ambtelijke organisatie opslokken. Maar dit kan dan wel tot een negatieve en zichzelf versterkende cyclus leiden waarin de verantwoordingsinformatie - ongemerkt - aan kwaliteit blijft verliezen. Het gevolg is dat het onderwerp antidiscriminatie dan alleen nog te volgen is voor hen die zich in dit onderwerp vastbijten, anderen haken af of raken gaandeweg verkeerd geïnformeerd.

Valkuil gelegenheidsindicatoren ligt opnieuw op de loer
De ambtelijke organisatie heeft de wens om betere indicatoren te ontwikkelen en is daarmee aan de slag gegaan. Die houding vinden we positief. Wel zien we in de manier van werken vooral ‘de blik vooruit’, richting de nieuwe visie op het antidiscriminatiebeleid.  Er wordt beperkt geleerd uit het verleden, door middel van een reflectie op wat er wel en niet goed ging rondom de huidige indicatoren. De nadruk lijkt te liggen op het veranderen van de indicatoren - in lijn met de nieuwe visie - in plaats van op het bewust verbeteren ervan.

Tegelijkertijd is binnen dit beleidsveld nog onvoldoende duidelijk wat de gemeente wil bereiken en wat ze daarvoor gaat doen. Om tot zinnige indicatoren te komen, moet er juist een helder idee zijn over wat de belangrijkste doelen en activiteiten van het beleid zijn.  In dit stadium – waarin de nieuwe visie nog wordt omgezet in een beleidskader en waarin het beleidsveld nog volop in ontwikkeling is – is dat voor antidiscriminatie nog niet het geval. Wij zien het risico dat hierdoor in dezelfde valkuil kan worden gestapt als in het verleden: een keuze voor gelegenheidsindicatoren zonder dat goed is verkend en beargumenteerd waarom juist deze indicatoren relevant inzicht geven in en verantwoording afleggen over wat de gemeente wil en doet.

Balans tussen inzicht en overzicht
Het beperkte gebruik van de indicatoren door zowel de ambtelijke organisatie als de gemeenteraad is mogelijk ook terug te voeren op de wens – of zelfs noodzaak - om meer te vertellen dan met de indicatoren in de jaardocumenten kan. Aansluitend op wat wij al langere tijd in onze rapporten benadrukken,  benadrukt ook de ambtelijke organisatie dat het belangrijk is om oog te hebben voor meer dan alleen de cijfers in de indicatoren. Het geven van inzicht door toelichting en duiding bij indicatoren is minstens zo belangrijk, net als het toegankelijk aanbieden van contextuele informatie. Dat geldt zeker voor de huidige begrotingsindicatoren van het antidiscriminatiebeleid waarvan de uitkomsten mede worden beïnvloed door maatschappelijke bewegingen en gebeurtenissen die in de media worden uitgelicht. De ambtelijke organisatie werkt aan het geven van meer gedetailleerd en breder inzicht, bijvoorbeeld door het uitbrengen van de Monitor Diversiteit. 

Tegelijkertijd hebben de indicatoren in de jaardocumenten een heldere functie, die op gespannen voet staat met de hiervoor beschreven wens voor inzicht. Die functie is het bieden van overzicht – een meer overkoepelende ‘foto’ van een beleidsveld. Op basis van dat overzicht moeten raadsleden kunnen signaleren of er in dat veld mogelijk iets speelt waarnaar hun aandacht uit moet gaan. Om deze overzicht-functie te vervullen zullen indicatoren de kernelementen van het beleid en de uitvoering moeten bevatten, maar kunnen ze niet een volledig beeld bieden en alle activiteiten of nuances laten zien die voor de beleidsuitvoering van waarde zijn. De uitdaging én complexiteit bij het kiezen en invullen van bruikbare begrotingsindicatoren die bijdragen aan grip van de raad zit dan ook in het vinden van een balans tussen overzicht over en bruikbaar inzicht in de beleidsuitvoering.

Aanbevelingen

Zorg voor relevante en betrouwbare indicatoren

Uit ons onderzoek ontstaat het beeld dat de huidige indicatoren niet altijd relevant en onvoldoende betrouwbaar zijn. Om de indicatoren meer van waarde te laten zijn voor de raad, raden we het college aan om relevantie meer in acht te nemen. Daarnaast vinden we het belangrijk dat het college zorgt voor betrouwbare, en dus juiste, indicatoren. Dat vraagt volgens ons tenminste om een meer systematische manier van werken bij het aanleveren van informatie voor de jaardocumenten.

Aanbeveling 1: Hou meer rekening met de relevantie

Met indicatoren geeft de gemeente invulling aan de verplichting om systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. We raden het college aan om bij het kiezen van de indicatoren meer rekening te houden met relevantie. Dat kan door het beleid en de onderliggende beleidstheorie als uitgangspunt te nemen en door te kiezen voor verschillende typen indicatoren.

Achterliggende bevindingen
  • De huidige indicatoren zijn gelegenheidsindicatoren.
  • De twee activiteitindicatoren zijn onvoldoende relevant. Ze hangen niet samen met het doel dat de gemeente nastreeft. De doelindicator hangt daar wel logisch mee samen.
  • De huidige indicatoren zijn alle drie outcome  indicatoren die niks zeggen over de inspanningen van de gemeente. De indicatoren over ervaren discriminatie gaan niet specifiek over ervaren discriminatie in Amsterdam.
  • De indicatoren bevatten geen verduidelijkende informatie over bijvoorbeeld doelgroep en tijdspanne. Deze informatie is wel bekend bij de organisaties die de cijfers aanleveren, maar niet bij de ambtelijke organisatie.
  • Volgens de ambtelijke organisatie reflecteren de indicatoren niet goed hoe de afdeling Diversiteit werkt aan de essentie van het antidiscriminatiebeleid en in hoeverre hierop voortgang wordt geboekt.
  • Raadsleden gebruiken de indicatoren nauwelijks omdat ze hen onvoldoende inzicht geven in het beleid.

Neem het beleid als uitgangspunt
We vinden het van belang dat de relevantie leidend is bij het kiezen van indicatoren voor de jaardocumenten. Daarom raden we het college aan om in het kiezen van indicatoren meer rekening te houden met het gevoerde of beoogde antidiscriminatiebeleid en de beleidstheorie die daaraan ten grondslag ligt.

De beleidstheorie is naar ons idee van belang voor het kiezen van indicatoren die relevant inzicht geven in het beleid. Met de beleidstheorie geeft de gemeente immers inzicht in de eigen doelstelling (wat wil ze bereiken) en maakt zij met een logische redenatie aannemelijk welke beleidsactiviteiten, mechanismes en middelen op welke manier zullen bijdragen aan die doelstelling (hoe gaat ze dat bereiken). Deze systematiek geeft een kapstok voor het kiezen van indicatoren, omdat het de kernelementen van het beleid zichtbaar maakt waarop indicatoren relevant inzicht kunnen bieden. We raden het college dan ook aan om eerst de beleidstheorie uit te werken, en pas daarna de indicatoren.

Daarbij merken we op dat zinnige indicatoren (evenals een beleidstheorie) niet van de ene op de andere dag ontwikkeld worden. Daarom vinden we het belangrijk dat het college de tijd neemt voor het kiezen en verbeteren van de indicator(en). Volgens ons is het beter om (tijdelijk) geen indicator(en) te hebben dan onbruikbare en niet-relevante indicatoren.

Overweeg verschillende typen indicatoren
Met het oog op relevantie, kunnen we ons voorstellen dat het college de huidige doelindicator niet zonder meer vervangt.  Daarentegen vinden we het raadzaam dat het college voor de huidige activiteitindicatoren wel andere opties verkent.  Om de relevantie van die begrotingsindicatoren te vergroten, lijkt het ons zinnig dat het college daarbij verschillende typen indicatoren – anders dan enkel outcome indicatoren  - overweegt. Voortbouwend op de beleidstheorie kan het college hierbij denken aan indicatoren die inzicht bieden in de inbreng, inspanningen of werkprocessen van de gemeente om toe te werken naar het beleidsdoel. Of indicatoren die inzicht bieden in de structuren of randvoorwaarden die de gemeente daarvoor inricht.

In onderstaand kader geven we mogelijke startvragen weer die het college kan gebruiken om relevante indicatoren te ontwikkelen.

Mogelijke startvragen voor relevante indicatoren
  • Wat is de kern van het antidiscriminatiebeleid?
  • Wat is het belangrijkste doel dat het college met dit beleid wil bereiken?
  • Hoe wil het college het doel bereiken? Wat richt het college daarvoor in aan randvoorwaarden, structuren of processen?
  • Wat zijn de (categorieën van) activiteiten die het college onderneemt om bij te dragen aan het doel? Waarom passen deze activiteiten bij het toewerken naar het doel?
  • Welke processen, activiteiten of randvoorwaarden – die van belang zijn voor het toewerken naar het beleidsdoel – liggen binnen de invloedssfeer van de gemeente / afdeling Diversiteit?

Aanbeveling 2: Werk meer systematisch en zorgvuldig rondom indicatoren

We raden het college aan om te zorgen voor een meer systematische manier van werken rondom de indicatoren en deze werkwijze ook vast te leggen. Ook denken we dat het beter benutten van de kennis van de organisaties die de bronnen beheren de betrouwbaarheid van de indicatoren ten goede komt.

Achterliggende bevindingen
  • Rondom het ophalen in invullen van de cijfers van de indicatoren zien we positieve punten. De gepresenteerde cijfers zijn afkomstig uit betrouwbare bronnen. En de indicatoren zijn vaak voorzien van kwantitatieve informatie.
  • We constateren veel fouten in de gerapporteerde cijfers van de indicatoren.
    1. De gepresenteerde realisatiecijfers kloppen vaak niet. Ze zijn foutief overgenomen uit de bronnen. Voor de activiteitindicatoren lijken steeds de regiocijfers in plaats van de gemeentecijfers te zijn gerapporteerd.
    2. We zien fouten rondom verwijzingen naar waardes. De pijlwaardes verschillen van de realisatiewaardes uit het bij de peilwaarde behorende peiljaar. En verschillende realisatiewaardes voor dezelfde jaartallen.
  • De verschillen tussen de jaardocumenten en achterliggende bronnen waren onbekend bij de ambtelijke organisatie. Ontbrekende peilwaardes en peiljaren konden door de ambtelijke organisatie over het algemeen niet worden achterhaald. Datzelfde geldt voor de motivatie achter gekozen peiljaren en doorgevoerde veranderingen.
  • De ambtelijke organisatie ontvangt of vraagt een informatie of toelichting bij de aangeleverde broninformatie.

Leg een systematische werkwijze vast rondom indicatoren
We raden het college aan om meer systematiek aan te brengen in de manier van werken rondom de indicatoren van het antidiscriminatiebeleid. Een meer systematische werkwijze kan houvast en structuur geven en zo zorgvuldigheid in de hand werken. Enerzijds bij het invullen van de indicatoren. En anderzijds bij het periodiek aanleveren van informatie voor de jaardocumenten.

Bij het invullen van de indicatoren gaat het er ons inziens om dat het college weloverwogen en navolgbaar invulling geeft aan de elementen waar iedere indicator uit bestaat (omschrijving, peilwaarde, peiljaar, streefwaarde en bron voor realisatiewaarde, inclusief achterliggende keuzes). We raden het college aan om deze ‘statische’ informatie per indicator van het antidiscriminatiebeleid vast te leggen. Dit vinden we niet alleen van belang vanuit het oogpunt van navolgbaarheid en overdraagbaarheid. Het geeft ook handvatten om de betrouwbaarheid van de indicatoren te verbeteren  en om de indicatoren over de tijd in een eenduidig en zinnig historisch perspectief te kunnen plaatsen.

Daarnaast raden we aan om een meer systematische manier van werken vast te leggen voor het periodiek aanleveren van informatie voor de jaardocumenten. Hierbij denken we bijvoorbeeld aan de te doorlopen stappen voor het ophalen, beschrijven en controleren van de juiste informatie, maar ook aan het toekennen van de verantwoordelijkheid voor dit proces.

Benut kennis van de organisaties die de bronnen beheren
We raden het college aan om beter gebruik te maken van de kennis die aanwezig is bij de organisaties die aan de gemeente de broninformatie voor de indicatoren aanleveren. Zij kunnen aangeven welke cijfers over Amsterdam gaan, wat deze cijfers wel en niet laten zien, welke ontwikkelingen zichtbaar zijn over de tijd en welke contextinformatie relevant is voor het interpreteren van de cijfers. We vinden het raadzaam om een warme overdracht te overwegen van de beschikbare informatie. Een dergelijke overdracht draagt ons inziens bij aan het op de juiste manier rapporteren over de indicatoren.

Verken hoe aanvullende informatie kan worden verstrekt

In ons onderzoek constateren we dat zowel de raad als de ambtelijke organisatie behoefte heeft aan het geven of ontvangen van context en duiding bij de indicatoren. Hiervoor bieden de jaardocumenten in de planning en control (P&C) cyclus weinig ruimte; zij hebben de functie om vooral overzicht te bieden. Tegelijkertijd is aanvullende informatie voor de raad van belang om het inzicht in het beleidsveld te vergroten. We denken dan ook dat het nuttig is om manieren te verkennen waarop aanvullende informatie kan worden verstrekt om de raad zowel overzicht als inzicht te geven.

Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken

We raden aan om te verkennen hoe het college aanvullende informatie rondom de indicatoren kan bieden. Voor het creëren van overzicht voor de raad zien we mogelijkheden in het verbeteren van de toelichting op de indicatoren in de jaardocumenten. Voor het bieden van meer inzicht kan het college onderzoeken hoe binnen de P&C cyclus de informatie over het antidiscriminatiebeleid kan worden aangevuld, bijvoorbeeld met behulp van een gelaagde verantwoording.

Achterliggende bevindingen
  • De indicatoren zijn onvoldoende begrijpelijk. Het belang en de betekenis van de indicatoren wordt in de jaardocumenten nauwelijks toegelicht. Duiding van de ontwikkeling rondom de indicatoren mist in het overgrote deel van de jaardocumenten. In de begroting van 2022 werden de indicatoren wel deels toegelicht.
  • Het gesprek over de indicatoren, dat door het college in de jaardocumenten is aangekondigd, wordt niet gevoerd.
  • Zowel de raad als de ambtelijke organisatie hecht waarde aan context en duiding.
  • De ambtelijke organisatie heeft de Monitor Diversiteit opgesteld om meer informatie te geven over de beleidsuitvoering.
  • De raadsleden die wij spraken weten aan welke sturingsinformatie ze behoefte hebben.

Verbeter overzicht door toelichting in de jaardocumenten
Een begrotingsindicator biedt de raad zinnig overzicht en een bruikbare signaalfunctie wanneer zij de indicator op de juiste manier kan interpreteren. Om dit te bevorderen in de indicatoren van het antidiscriminatiebeleid is het ons inziens nodig dat het college de indicatoren voorziet van een toelichting. Deze toelichting zal de raad in staat moeten stellen om de indicatoren te kunnen begrijpen en de ontwikkeling van de realisatiewaarden te kunnen duiden. We realiseren ons dat vanwege het streven naar compactheid de ruimte voor toelichting in de jaardocumenten beperkt is. Toch lijkt het ons raadzaam om met de Dienst Middelen en Control te verkennen wat de mogelijkheden zijn om deze aanvullende informatie te integreren in de jaardocumenten.

Verken voor meer inzicht de mogelijkheden van een gelaagde verantwoording
Om de gemeenteraad meer gedetailleerd inzicht te bieden in de uitvoering van het antidiscriminatiebeleid, adviseren we het college om te verkennen hoe aanvullende informatie voor de raad logisch kan worden opgenomen in of verbonden kan worden aan de jaarstukken. Dit kan bijvoorbeeld via een gelaagde verantwoording. In het onderzoek Bruikbaarheid van indicatoren deden we de aanbeveling om informatie in de jaardocumenten op een gelaagde wijze aan te bieden.  Deze aanbeveling vinden we ook passen bij het huidige onderzoek. Het uitgangspunt van de gelaagde verantwoording is dat een lezer naar behoefte meer gedetailleerde informatie kan krijgen vanuit de jaardocumenten. Wanneer dit gemeente breed wordt toegepast, betekent dat wel iets voor de gehele begroting of jaarrekening, omdat de gemeente veel meer zal moeten uitgaan van een digitaal document waarin meer, en meer gevarieerde, gelaagdheid aangebracht kan worden. Als een eerste stap valt voor het antidiscriminatiebeleid te overwegen om voort te bouwen op of te putten uit de Beleidsmonitor Diversiteit en deze (op onderdelen) te koppelen  aan de jaardocumenten. Een andere vorm van gelaagdheid in verantwoording zien we in het proactief faciliteren van het gesprek met de raad over de uitkomsten op de begrotingsindicatoren in het licht van wat het college wil bereiken met het antidiscriminatiebeleid. We denken dat het raadzaam is wanneer het college bij de raad toetst welke vorm van gelaagde verantwoording het beste past bij (de informatiebehoefte van de raad op) het antidiscriminatiebeleid.

Bij elke vorm van gelaagde verantwoording is het van belang om de meer gedetailleerde informatie duidelijk te verbinden met de informatie in de jaardocumenten, zodat de informatievoorziening richting de raad logisch met elkaar samenhangt. Dat kan bijvoorbeeld door de begrotingsindicatoren een duidelijke plek te geven in of startpunt te laten zijn voor de meer gedetailleerde informatievoorziening.

Reactie college en nawoord rekenkamer

Bestuurlijke reactie

Op 21 juni 2023 hebben wij een concept-versie van dit document aan het college aangeboden voor een bestuurlijke reactie. Daarbij hebben wij in het bijzonder verzocht om een reactie op onze conclusies × Download Bestuurlijke reactie en aandachtspunten. Op 5 juli 2023 hebben wij de bestuurlijke reactie van het college ontvangen. De integrale tekst van de bestuurlijke reactie is hieronder te lezen. Deze kan hiernaast worden gedownload.

Geachte A.L. Daalder,

Hierbij stuur ik u de bestuurlijke reactie op het conceptrapport “Indicatoren discriminatie - Grip op het antidiscriminatiebeleid”. Met veel belangstelling hebben wij kennisgenomen van de conclusies en aanbevelingen.

Diversiteit en inclusie bepalen het succes van Amsterdam, want Amsterdam was, en is nog steeds de stad waar mensen naartoe komen om vrij te kunnen zijn. Maar ook in Amsterdam worden mensen nog steeds gediscrimineerd en buitengesloten. Zoals ook in het coalitieakkoord wordt aangegeven: “vergt de strijd tegen uitsluiting, racisme en discriminatie een lange adem en vastberadenheid. Het is immers niet met een paar eenvoudige beleidsinterventies op te lossen.”

Het college van B en W onderstreept daarom het belang van indicatoren om een goed beeld te krijgen van de doelen, de activiteiten en om de resultaten van het gevoerde beleid inzichtelijk te kunnen maken. Het is de afgelopen jaren echter ingewikkeld gebleken om de resultaten meetbaar te maken. Dit komt voornamelijk door het feit dat de impact die de gemeente met haar beleid heeft op antidiscriminatie en emancipatie niet geïsoleerd kan worden van andere maatschappelijke en politieke ontwikkelingen, en het daardoor moeilijk is te meten wat de precieze bijdrage van dit gemeentelijk beleid is. Denk hierbij bijvoorbeeld aan de grote Black Lives Matter beweging, die van grote invloed is geweest op het discours over racisme en discriminatie in Nederland en wereldwijd. Niettemin spant het college zich in om meer inzicht te geven in de impact van het beleid in Amsterdam.

In het visiedocument “Amsterdam, een stad uit duizenden” (maart 2023) wordt om die reden al aandacht besteed aan de meetbaarheid van het beleid. Hierin werd reeds aangegeven dat we bezig zijn met het opstellen van een plan om de uitkomsten van ons beleid de komende jaren beter inzichtelijk te maken.

Het college is daarom ook blij dat de Rekenkamer het initiatief heeft genomen om de indicatoren van het discriminatiebeleid te onderzoeken, en wil de Rekenkamer Amsterdam bedanken voor diens werk.

In uw rapport constateert u zaken die al goed gaan: de gepresenteerde cijfers zijn afkomstig uit betrouwbare bronnen, de indicatoren zijn voldoende duidelijk en specifiek geformuleerd en voldoende voorzien van kwantitatieve informatie, de gemeente erkent dat er een verbeterslag te maken valt en geeft aan daar al actief mee bezig te zijn.

U constateert ook dat de drie onderzochte indicatoren onvoldoende zicht geven op de uitvoering van het beleid. De relevantie, betrouwbaarheid en begrijpelijkheid zijn onvoldoende. Terecht merkt u op dat er een complexe uitdaging ligt bij het kiezen van bruikbare en goede indicatoren. U geeft op basis van uw bevindingen een drietal aanbevelingen:

* Zorg voor relevante en betrouwbare indicatoren
Aanbeveling 1: Houd meer rekening met de relevantie
Aanbeveling 2. Werk meer systematisch en zorgvuldig rondom indicatoren

* Verken hoe aanvullende informatie kan worden verstrekt
Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken

Het college herkent de aangedragen verbeterpunten, en neemt de aanbevelingen over. Hieronder lichten we per aanbeveling toe hoe we hier opvolging aan zullen geven.

Aanbeveling 1: Houd meer rekening met de relevantie. U geeft aan dat dat kan door het beleid en de onderliggende beleidstheorie als uitgangspunt te nemen en door te kiezen voor verschillende typen indicatoren. Met betrekking tot het diversiteitsbeleid, waaronder het antidiscriminatiebeleid, bevinden we ons, zoals hierboven toegelicht, in een proces waarbij we zoeken naar betere manieren om de impact en resultaten van het beleid zichtbaar te maken. We onderzoeken of we beter op interventieniveau kunnen meten. Naar verwachting wordt het beleidskader inclusie en antidiscriminatie eind 2023 aangeboden aan de gemeenteraad. Hierin zullen we de gemeenteraad informeren over de manier waarop we dit de komende jaren gaan doen.

Aanbeveling 2: Werk meer systematisch en zorgvuldig rondom de indicatoren. U adviseert om een systematische werkwijze vast te leggen rondom de indicatoren, en daarnaast de kennis van de organisaties achter de bronnen beter te benutten. U geeft aan dat hierbij ook de inhoudelijke elementen waar een indicator aan moet voldoen, moeten worden vastgelegd. Dit advies nemen wij over: we zullen bij de betreffende afdeling het proces rondom aanleveren van data in de P&C-cyclus herinrichten om zorgvuldigheid beter te waarborgen, evenals de documentatie die daarbij komt kijken.

Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken. U adviseert om te onderzoeken of het mogelijk is om meer toelichting te geven in de jaardocumenten. En om een meer gelaagde verantwoording te organiseren. Op dit moment bieden de jaardocumenten binnen de P&C-cyclus hier nog onvoldoende ruimte voor. We zullen onderzoeken of en op welke manier er meer ruimte voor geboden kan worden. En hier met betrokkenen bij dit proces afspraken over maken. Daarnaast willen we, in lijn met uw aanbeveling, toewerken naar een andere inrichting van de voortgangsinformatie die we met de gemeenteraad delen: onder andere meer op basis van data uit onderzoek. Dit is ook in lijn met uw advies, bijvoorbeeld door de Beleidsmonitor Diversiteit op onderdelen te koppelen aan de jaardocumenten. Daarbij letten we ook op een logisch met elkaar samenhangend geheel van de informatievoorziening.

De Rekenkamer legt met dit onderzoek knelpunten bloot in de informatiewaarde van de voortgangsinformatie. Het college is zich bewust van deze knelpunten en bevindt zich reeds in een proces om hier verbetering in aan te brengen. Met dit onderzoek zijn goede aanbevelingen en adviezen gedaan, die dat proces aanscherpen en die motiveren om hierop door te pakken met de bovengenoemde acties.

Wij hopen u hiermee voldoende te hebben geïnformeerd.

Hoogachtend,
Namens het college van burgemeester en wethouders van de gemeente Amsterdam,

Touria Meliani
Wethouder inclusiviteit en antidiscriminatie

Nawoord rekenkamer

We danken het college van burgemeester en wethouders voor zijn positieve en constructieve reactie. Het college herkent zich in de conclusies en neemt alle drie de aanbevelingen over. Het college heeft reeds een verbeterproces ingezet met als doel de uitkomsten van het antidiscriminatiebeleid de komende jaren beter inzichtelijk te maken. Het college noemt de aanbevelingen motiverend om door te gaan met dit verbeterproces.

De reactie van het college geeft ons aanleiding om voor twee onderdelen van onze analyse en aanbevelingen extra aandacht te vragen. En om de raad te attenderen op de mate van concreetheid van de plannen van het college.

Verlies het doel van begrotingsindicatoren niet uit het oog
Het college onderstreept net als wij het belang van indicatoren om een goed beeld te krijgen van de doelen, activiteiten en resultaten van het gevoerde beleid. En het college onderzoekt of het op interventieniveau wil gaan meten om de impact en resultaten van het antidiscriminatiebeleid beter zichtbaar te maken. Wij denken dat dat een nuttige manier kan zijn om per beleidsactiviteit gedetailleerd inzicht te krijgen in wat deze doet en oplevert en daarover te rapporteren in, bijvoorbeeld, de beleidsmonitor Diversiteit.

Tegelijkertijd wijzen we op de andersoortige functie van indicatoren in de jaardocumenten van de P&C-cyclus. Die functie is het bieden van overzicht. In onze analyse beschreven we dat raadsleden op basis van begrotingsindicatoren moeten kunnen signaleren of er in dat veld iets speelt waar hun aandacht naar moet uitgaan. Om deze overzichtsfunctie te vervullen zullen begrotingsindicatoren op hoofdlijnen de kernelementen van het beleid en de uitvoering moeten vatten. Het is de vraag of indicatoren op interventieniveau - met het diepgaande inzicht dat ze bieden in individuele beleidsactiviteiten - kernachtig en overkoepelend genoeg zijn om ook overzicht te bieden. We vinden het van belang dat het college de overzichtsfunctie niet uit het oog verliest bij het kiezen en ontwikkelen van begrotingsindicatoren. Zodat de raad deze indicatoren in de toekomst volgens de (hiervoor beschreven) bedoeling kan gebruiken.

Neem de tijd voor relevante indicatoren
We adviseerden het college om eerst het beleid en de bijbehorende beleidstheorie uit te werken, en pas daarna indicatoren te ontwikkelen. We vinden deze volgordelijkheid van belang om de indicatoren logisch te laten volgen uit de kernelementen van het beleid. Dit komt de relevantie van de indicatoren ten goede. Uit de reactie op de eerste aanbeveling lijkt het college parallel te willen werken aan het beleidskader en de meetbaarheid daarvan middels indicatoren. We denken dat dit een risico met zich kan meebrengen, namelijk de keuze voor begrotingsindicatoren die onvoldoende relevant zijn.

Vanwege de door ons voorgestelde volgordelijkheid is het mogelijk dat er bij het aanbieden van het beleidskader nog geen begrotingsindicatoren liggen. Want het kost tijd om - op basis van uitgewerkt beleid - te verkennen welke indicatoren relevant zijn om verantwoording af te leggen over wat de gemeente wil en doet. We denken dat het verstandig is om deze tijd te nemen. Ook als dat betekent dat er tijdelijk geen begrotingsindicator(en) worden opgenomen in de jaarstukken.

Raad: wees alert op concrete uitwerking aanbevelingen
Het college licht per aanbeveling toe hoe het daar opvolging aan zal geven. We waarderen dat het college in deze toelichting veel van onze suggesties en invalshoeken terug laat komen. Tegelijkertijd maakt het college nog niet expliciet hoe het zelf uitvoering aan de aanbevelingen wil geven. Dat maakt dat we wat concreetheid missen in wat het college gaat doen, wanneer, en hoe het de raad daarover informeert.

We adviseren de raad om het college daarover toelichting te vragen. We denken daarbij aan vragen als:

  1. Hoe gaat het college het rekening houden met de relevantie van de begrotingsindicatoren (aanbeveling 1) onderdeel maken van de - al lopende - zoektocht naar betere manieren om de uitkomsten van het antidiscriminatiebeleid inzichtelijk te maken?
  2. Welke stappen gaat het college nemen om het proces rondom het aanleveren van de cijfers van de indicatoren beter in te richten (aanbeveling 2)? En wanneer?
  3. Hoe wil het college gaan onderzoeken op welke manier het aanvullende informatie kan verstrekken bij de begrotingsindicatoren (aanbeveling 3)? En wanneer?

Wanneer u als raad de verkregen toelichting onvoldoende concreet vindt, dan kunt u -  zoals gebruikelijk is bij het behandelen van rekenkamerrapporten - besluiten het college alsnog te vragen om een plan van aanpak.

Gedetailleerde onderzoeksbevindingen

In hoofdstukken 5 tot en met 8 geven we antwoord op deelvraag 1: zijn de begrotingsindicatoren bruikbaar voor het creëren van inzicht? In elk hoofdstuk beoordelen we de drie begrotingsindicatoren over het antidiscriminatiebeleid op een van de normen die van invloed zijn op de bruikbaarheid van indicatoren (zie paragraaf 10.3.3); formulering (hoofdstuk 5), betrouwbaarheid (hoofdstuk 6), relevantie (hoofdstuk 7) en begrijpelijkheid (hoofdstuk 8). Voor elke norm geven we een oordeel over de mate waarin de indicatoren aan de norm voldoen. Dit doen we door een oordeel ‘voldoende’, ‘voldoende met ruimte tot verbetering’ en ‘onvoldoende’ te geven. We starten elk hoofdstuk met een korte toelichting op de norm en de bijbehorende toetspunten, vervolgens presenteren we onze bevindingen per toetspunt en we eindigen elk hoofdstuk met een conclusie over de mate waarin de indicatoren over antidiscriminatie voldoen aan de betreffende norm. Zie paragraaf 10.3.3 voor een uitgebreidere beschrijving van de onderzoeksaanpak. Voor de leesbaarheid van de hierna volgende hoofdstukken, geven we in onderstaand kader de doel- en activiteitindicatoren kort weer waaraan we in dit onderzoek aandacht besteden (zie ook paragraaf 10.2.2).

Doel- en activiteitindicatoren discriminatie uit de doelenboom Begroting 2023

In de doelenboom van de Begroting 2023 wordt onderscheid gemaakt tussen doel- en activiteitindicatoren van het antidiscriminatiebeleid.

Bij het doel ‘Discriminatie in Amsterdam neemt af’ hoort de doelindicator:

  • percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld (bron: Veiligheidsmonitor).

Als activiteit wordt bij dit doel benoemd: “We verhogen de meldingsbereidheid bij discriminatie”. De bijhorende activiteitindicatoren zijn:

  • het aantal meldingen over discriminatie (bron: MDRA);
  • het aantal meldingen arbeidsdiscriminatie (bron: MDRA).

Formulering van de indicatoren

De begrotingsindicatoren dragen bij aan het inzicht voor de gemeenteraad over het behalen van de doelen van de gemeente en de uitvoering van (beleids)activiteiten. Een duidelijke formulering van een indicator is van belang, omdat daarmee duidelijk wordt wat de indicator meet.

Om te beoordelen of hiervan sprake is, hebben we gekeken naar twee toetspunten:

  1. is de formulering van de indicatoren duidelijk en specifiek;
  2. zijn de indicatoren voorzien van kwantitatieve informatie.

Voor de drie indicatoren over het antidiscriminatiebeleid hebben we over de jaren heen beoordeeld in hoeverre er sprake was van een duidelijke en specifieke formulering door te kijken naar de tekstuele beschrijving van de indicatoren zelf en de bijbehorende toelichting. We hebben de aanwezigheid van de kwantitatieve informatie beoordeeld door voor de jaren 2019 tot en met 2023 na te gaan of er peilwaardes, streefwaardes en realisatiewaardes aanwezig zijn in de begrotingen en jaarverslagen.

Formulering voldoende duidelijk en specifiek

Een duidelijke en specifieke formulering van de indicator is van belang omdat daarmee duidelijk wordt wat de indicator meet. Een duidelijke indicator betekent dat een indicator ondubbelzinnig aangeeft wat er gemeten wordt. Daarmee bedoelen we dat er op het niveau van de indicator als geheel maar één fenomeen gemeten wordt en uit de tekstuele beschrijving blijkt wat dat fenomeen is. Een specifieke indicator is zo geformuleerd dat het helder is wat hij precies meet. We constateren dat de formulering van de drie indicatoren over het antidiscriminatiebeleid voldoende duidelijk en specifiek is, maar er is wel ruimte voor verbetering.

Indicatoren ondubbelzinnig geformuleerd
De indicatoren zijn alle drie ondubbelzinnig geformuleerd. Elke indicator stelt één fenomeen te meten en op het eerste gezicht is het behoorlijk duidelijk wat elke indicator meet. We zien wel enkele kanttekeningen rondom de formulering van de indicatoren.

Doelindicator bevat onduidelijke term
De doelindicator is over de jaren heen net wat anders geformuleerd. In 2019, 2020 en 2022 bevat de doelindicator de term ‘wel eens’ in plaats van ‘de afgelopen twaalf maanden’ die we zien in 2021 en 2023: ‘Percentage Amsterdammers dat zich wel eens gediscrimineerd voelt’. De term ‘wel eens’ vinden we geen duidelijke term; het roept de vraag op, op welke periode de indicator betrekking heeft. Ook is het onduidelijk waar de wijzigingen in de formulering vandaan komen. De onderliggende vraag - op basis waarvan deze indicator in beeld wordt gebracht - is over de jaren heen namelijk niet gewijzigd. 

Aanwezige toelichting uit diverse bronnen ongebruikt
Geen van de indicatoren is in de formulering specifiek over de doelgroep. Ook de tijdspanne ontbreekt in de formulering van de twee activiteitindicatoren.

In de broninformatie is wel aanvullende toelichting beschikbaar over elementen van de drie indicatoren. De ambtelijke organisatie lijkt zich daar beperkt bewust van te zijn.  Voor elk van de indicatoren is in de broninformatie bekend hoe ‘discriminatie’ is opgevat, over welke doelgroep de indicator gaat en waar door hen discriminatie ervaren is. Ook is bekend over welke tijdspanne de cijfers iets zeggen.

Bij alle drie de indicatoren gaat het om ervaren discriminatie. Bij de vraag in de Veiligheidsmonitor gaat het om een subjectieve beleving van discriminatie.   Voor de activiteitindicatoren geldt dat meldingen komen van mensen die zich gediscrimineerd voelen of getuige waren van discriminatie bij iemand anders.  Ook hier gaat het om de subjectieve beleving van (arbeids)discriminatie; discriminatie is niet op voorhand gedefinieerd. 

Ook over de doelgroep is meer informatie beschikbaar. De Veiligheidsmonitor wordt afgenomen onder Amsterdammers van vijftien jaar en ouder en dit betreft dan ook de leeftijdsafbakening voor de doelindicator.  De doelgroep van de activiteitindicatoren is breder, de melders kunnen van alle leeftijden zijn, zo lang zij in de regio Amsterdam-Amstelland wonen.   Hieronder vallen ook melders die een melding maken over discriminatie die zij bij anderen gezien hebben.  Voor alle indicatoren geldt dat de discriminatie die ervaren is, buiten de gemeente Amsterdam kan hebben plaatsgevonden.  In de achterliggende bronnen is ook hier meer informatie over beschikbaar, terwijl deze in de formulering van de indicator niet is toegelicht. 

Ten slotte staat in de onderliggende bronnen informatie die iets zegt over de tijdspanne van de ervaren discriminatie. Voor de doelindicator geldt dat de ervaren discriminatie over de afgelopen twaalf maanden gaat.  Dit is in 2019, 2020 en 2022 niet in de formulering van de indicator opgenomen. Voor de activiteitindicatoren gaat het ook om de tijdspanne van een jaar. 

Deelconclusie
We vinden de indicatoren voldoende duidelijk en specifiek geformuleerd met ruimte voor verbetering. De indicatoren zijn ondubbelzinnig geformuleerd. Toch vinden we de doelindicator niet geheel duidelijk door wijzigingen in de formulering over de tijd en een term die op zichzelf niet duidelijk is. Voor alle drie de indicatoren is er in brondocumenten meer specifieke informatie aanwezig die de formulering duidelijker zouden maken. Deze informatie is niet gebruikt in de jaardocumenten en de ambtelijke organisatie lijkt zich beperkt bewust van deze informatie.

Kwantitatieve informatie voldoende aanwezig

Een indicator wordt pas informatief als deze kwantitatieve informatie bevat. Deze informatie biedt de gemeenteraad (de lezer) de mogelijkheid de (beoogde) resultaten te duiden. Een indicator die is voorzien van kwantitatieve informatie bevat de waarde die als basis dient (peilwaarde en -jaar of nulmeting), de realisatiewaarde, en de waarde die de gemeente nastreeft (streefwaarde). We constateren dat kwantitatieve informatie voldoende aanwezig is bij de drie indicatoren, maar dat er ruimte is voor verbetering.

Peilwaardes grotendeels aanwezig
Voor alle drie de indicatoren zijn peilwaardes aanwezig, met uitzondering van 2019; in 2019 was de peilwaarde voor de doelindicator afwezig. Hier is geen toelichting op gegeven. Er is zowel in de doelenboom bij de Begroting 2019 als in het Jaarverslag 2019 aangegeven via ‘PM’ dat er nog geen uitsluitsel is over de peilwaarde. De ambtelijke organisatie geeft aan dat de peilwaardes voortkomen uit het beschikbare bronmateriaal, maar heeft geen verklaring voor de afwezigheid van de peilwaarde van de doelindicator in 2019. 

Peiljaar vaak afwezig
Bij alle drie de indicatoren is het peiljaar vaak afwezig. De peilwaarde van de doelindicator bevat in 2022 en 2023 een peiljaar. De peilwaarde van de activiteitindicator ‘Meldingen over discriminatie’ bevat in 2019 en 2020 geen peiljaar (in 2021, 2022 en 2023 wel) en bij de peilwaarde van de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ is het peiljaar vaak afwezig, alleen in 2022 is de peilwaarde voorzien van een peiljaar. Ook bij de ambtelijke organisatie was onbekend welke peiljaren bij de gepresenteerde peilwaardes horen. 

Realisatiewaardes op één na aanwezig
De realisatiewaardes zijn voor bijna alle jaartallen  aanwezig. Voor de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ mist de realisatiewaarde voor 2019.  De ambtelijke organisatie geeft aan dat ze de broninformatie soms pas na de aanlevermomenten voor de P&C-cyclus ontvangt. Hierdoor is er soms vertraging in het kunnen rapporteren van de meest recente realisatiewaardes uit de broninformatie.  Dit staat ook opgenomen in het Jaarverslag 2022 over het ontbreken van de realisatiecijfers alle drie de indicatoren over 2022.  Vertraging in beschikbaarheid van broninformatie verklaart echter niet waarom de realisatiewaarde voor 2019 van de activiteitindicator 'Meldingen over arbeidsdiscriminatie' in geen van de daaropvolgende jaarstukken is opgenomen.

Geen streefwaardes voor de indicatoren
De streefwaarde is voor alle drie de indicatoren voor geen enkel jaar ingevuld. In veel van deze gevallen is hierop wel een toelichting gegeven, namelijk dat gezien de aard van de indicator geen streefwaarde is opgenomen omdat het een meetwaarde is, bedoeld om het gesprek te voeren. Wij hebben niet kunnen vaststellen dat dit gesprek - naar aanleiding van de meetwaarden - heeft plaatsgevonden en ook de ambtelijke organisatie kon niet vertellen of en wanneer dit is gebeurd.  

Deelconclusie
We vinden dat de drie indicatoren voldoende voorzien zijn van kwantitatieve informatie, maar ook dat er ruimte is voor verbetering. De peilwaardes en realisatiewaardes zijn op een uitzondering na voor elk jaar aanwezig voor de drie indicatoren. Bij de peilwaardes zien we wel ruimte voor verbetering, omdat het peiljaar vaak afwezig is en de peiljaren bij de ambtelijke organisatie ook niet bekend waren. Ten slotte zien we dat de streefwaardes altijd afwezig zijn. Hiervoor is de plausibele toelichting gegeven dat de meetwaardes als input voor een gesprek dienen. Wij hebben niet kunnen vaststellen dat dit gesprek ook heeft plaatsgevonden.

Conclusie

We constateren dat de formulering van de drie indicatoren voldoende is, waarbij we ruimte voor verbetering zien. De indicatoren zijn ondubbelzinnig geformuleerd en er is veel kwantitatieve informatie aanwezig. De belangrijkste kanttekening is dat beschikbare informatie uit de onderliggende bronnen niet is gebruikt in de gemeentelijke jaardocumenten. Dit betreft zowel informatie over doelgroep, plaats en tijd, als een aantal realisatiewaardes. Daarnaast mist het peiljaar vaak en was het peiljaar ook niet bekend bij de ambtelijke organisatie. Het opnemen van deze informatie zou verduidelijken wat de indicatoren meten en helpen bij het duiden van ontwikkelingen op de indicatoren.

Voor het consequent ontbreken van de streefwaardes is een verklaring opgenomen. Of het gesprek, dat in de verklaring wordt genoemd, heeft plaatsgevonden hebben wij niet kunnen vaststellen. We zien dit gesprek echter wel als belangrijk om (de ontwikkeling op) de realisatiecijfers in perspectief te kunnen plaatsen door ze te spiegelen aan de peilwaardes en ambities van de gemeente.

Betrouwbaarheid van de indicatoren

Een betrouwbare indicator meet wat hij zegt te meten. Om te beoordelen of hiervan sprake is, hebben we gekeken naar drie toetspunten:

  1. Is de bron op zichzelf betrouwbaar en sluiten de kwantitatieve gegevens uit de indicator aan bij de bron;
  2. Bieden de jaardocumenten een onderbouwing voor de peilwaarde of kan de ambtelijke organisatie een onderbouwing geven voor de keuze van de peilwaarde;
  3. Zijn de elementen van de indicator en de meet- en rekenwijze van de indicator consistent.

Voor het eerste toetspunt hebben we gekeken naar de betrouwbaarheid van de bron en of de gepresenteerde realisatiewaardes overeenkomen met de achterliggende bron. Voor het tweede toetspunt kijken we naar de onderbouwing van de peilwaardes omdat deze een startpunt vormen om de ontwikkeling in perspectief te plaatsen. In de onderbouwing verwachten we toelichting op dit gekozen startpunt. Voor het derde toetspunt gaan we na in hoeverre de indicatoren door de tijd heen op dezelfde definities zijn gebaseerd en consistent zijn gemeten en berekend. Definitie - zoals we dat hier hebben overgenomen uit de eerdere onderzoeken - gaat over de omschrijving van de indicator; dus hoe de indicator verwoord is. In het kader van betrouwbaarheid is de consistentie van belang omdat inconsistentie in elementen van de indicator of in de meet- of rekenwijze de vergelijking tussen jaren op zijn minst minder betrouwbaar maakt.

Gepresenteerde kwantitatieve informatie onvoldoende betrouwbaar

We vinden kwantitatieve informatie die bij de indicatoren wordt gepresenteerd in de gemeentelijke jaardocumenten betrouwbaar als de bron op zichzelf betrouwbaar is en als de kwantitatieve informatie overeenkomt met de broninformatie. In onze beoordeling van de drie indicatoren constateren we dat de hierbij gepresenteerde kwantitatieve informatie onvoldoende betrouwbaar is.

Als startpunt van onze beoordeling geeft tabel 6.1 de kwantitatieve informatie van de indicatoren zoals gepresenteerd in de gemeentelijke jaarstukken. 

Tabel 6.1 - Kwantitatieve informatie zoals gepresenteerd in de jaarstukken
IndicatorWaarde20192020202120222023
Percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeldPeilwaardePM12%12%12% 13%
Realisatiewaarde13%13%13% NB n.v.t.
Meldingen over discriminatiePeilwaarde1.036 1.036 Begroting: 595 Jaarverslag: 544 544 1.036 
Realisatiewaarde595885 802 NB n.v.t.
Meldingen over arbeidsdiscri-minatiePeilwaarde186186186186 186
Realisatiewaarde/161152NB n.v.t.

Gepresenteerde cijfers afkomstig van betrouwbare bron
De doelindicator heeft een duidelijke bronvermelding: de Veiligheidsmonitor. De bron van de activiteitindicatoren is de registratie van discriminatiemeldingen van het MDRA.

Wat zijn de bronnen?

De Veiligheidsmonitor is een landelijke enquête met veel thema’s en vragen die jaarlijks wordt afgenomen. De Dienst Onderzoek en Statistiek (O&S) van de gemeente Amsterdam neemt deze enquête in Amsterdam af onder Amsterdammers van vijftien jaar en ouder.  Het is een vragenlijst van het CBS, voor de regio Amsterdam-Amstelland aangevuld met een eigen vragenblok.  Er wordt geen jaarlijks rapport geschreven over de gehele Veiligheidsmonitor. De Veiligheidsmonitor als geheel wordt breed gebruikt, bijvoorbeeld in veiligheidsindexen maar ook in onderzoeken over specifieke onderwerpen. O&S gebruikt gegevens uit de Veiligheidsmonitor bijvoorbeeld in de Amsterdamse Burgermonitor, die eens per twee jaar verschijnt, en de Staat van de Stad. Daarnaast worden de cijfers uit de Veiligheidsmonitor in het BBGA opgenomen. 

Het Meldpunt Discriminatie Regio Amsterdam (MDRA) is een onafhankelijke stichting met als doel het bestrijden en aanpakken van discriminatie en racisme en het beïnvloeden van maatschappelijke processen die daaraan ten grondslag liggen, inclusief alle activiteiten die daartoe kunnen bijdragen. De kerntaken van het MDRA zijn klachtenbehandeling, -bemiddeling en registratie, (beleids)advisering, monitoring en onderzoek, inclusief het opkomen voor collectieve belangen inzake het tegengaan van discriminatie en racisme in de breedste zin van het woord. Het meldpunt is er voor alle inwoners van Aalsmeer, Amstelveen, Amsterdam, Diemen, Ouder-Amstel, Uithoorn en Stadsgebied Driemond-Weesp. De werkzaamheden richten zich op verbinding en tegen discriminatie op alle gronden en terreinen in onze samenleving.  Het MDRA registreert meldingen van discriminatie en publiceert hier over in de jaarverslagen.

We zien bij beide bronnen een vaste werkwijze bij het afnemen van de enquête of het registeren van meldingen. Daarnaast is er een vaste werkwijze voor het berekenen van de realisatiewaardes vastgelegd.  We vinden de bronnen dan ook betrouwbaar.

Over de representativiteit van de MDRA-cijfers zijn wel zorgen aanwezig, zowel binnen het meldpunt zelf als bij de ambtelijke organisatie. Beide geven aan dat de cijfers geen totaalbeeld van discriminatie schetsen: de ambtelijke organisatie schat in dat slechts 1% van de voorvallen van discriminatie binnenkomt als melding bij het MDRA.  Voor de Veiligheidsmonitor geldt dat er bij de respondenten sprake is van zelfselectie doordat niet iedereen enquêtes invult.  Desondanks vinden we de data van de Veiligheidsmonitor wel representatief, onder andere doordat hier op voorhand al rekening mee wordt gehouden in het trekken van de steekproef. Ook worden in de berekeningen corrigerende wegingen toegepast. 

Realisatiecijfers sluiten vaak niet aan bij de broninformatie
Tabel 6.2 laat zien dat bij de doelindicator de realisatiewaarde uit de jaardocumenten in 2019 niet overeenkomt met het percentage uit de broninformatie. In de Veiligheidsmonitor is 12% opgenomen.  In 2020 komt het percentage uit de gemeentelijke stukken wel overeen met de achterliggende bron. Voor 2021 is in de P&C-documenten geen realisatiewaarde voor dat jaar opgenomen  terwijl in de Veiligheidsmonitor wel een realisatiewaarde voor 2021 bekend is.  Ten tijde van het Jaarverslag 2021 was deze waarde wellicht nog niet bekend; we zien de waarde pas terug in het Jaarverslag 2022. Echter zien we in dit jaarverslag dat wederom 13% is opgenomen als realisatiewaarde in plaats van de in de bron gerapporteerde 19%. 

De gerapporteerde realisatiewaardes van beide activiteitindicatoren komen niet overeen met de waardes uit de achterliggende bron. De enige uitzondering hierop vormt de realisatiewaarde van de activiteitindicator 'Meldingen over discriminatie’ over 2020 in de Begroting 2022, dat wel overeenkomt met het aantal meldingen dat is binnengekomen bij het MDRA.

Tabel 6.2 - Door gemeente gerapporteerde realisatiewaardes versus broninformatie
  201920202021
DoelindicatorRealisatiewaarde in jaarverslag gemeente13%13%13%
Realisatiewaarde in bron 12%13%19%
Activiteitindicator ‘Meldingen over discriminatie’Realisatiewaarde in jaarverslag gemeente595885 802
Realisatiewaarde in bron 5441.049705
Activiteitindicator ‘Meldingen over arbeidsdiscriminatie’Realisatiewaarde in jaarverslag gemeente-161152
Realisatiewaarde in bron 142131134

Mogelijke verklaringen: verkeerde cijfers overgenomen en geen overdracht
In de jaarverslagen van het MDRA worden zowel cijfers voor de regio Amsterdam-Amstelland gerapporteerd als per gemeente. De door de gemeente Amsterdam gerapporteerde cijfers komen overeen met de regiocijfers van het MDRA die gaan over het aantal meldingen gedaan door inwoners van de regio. We zien het overnemen van de regiocijfers in plaats van de cijfers over Amsterdam als een mogelijke verklaring voor de verschillen die we in de vorige paragraaf constateerden tussen bron en gemeentelijk jaarverslag. Alleen voor 2020 kunnen we niet terugvinden waar de realisatiewaarde van de activiteitindicator ‘Meldingen over discriminatie' vandaan komt.

Geïnterviewden geven aan dat er bij het aanbieden van de cijfers geen sprake is van overdracht of toelichting op de cijfers: nadat het MDRA het jaarverslag en O&S de Burgermonitor stuurt naar de afdeling Diversiteit, is het aan de afdeling om daar de juiste cijfers uit te halen.  Het gebrek aan overdracht of toelichting is mogelijk ook een oorzaak van de verschillen die we zien. Specifiek voor het Jaarverslag 2022 hebben we de indruk dat er twee kolommen zijn verwisseld. De cijfers die staan in de kolom Begroting 2021 hadden moeten staan in de kolom Jaarverslag 2021. De gerapporteerde waarde benoemd in de kolom Begroting 2021 sluit namelijk aan bij de waarde uit de broninformatie. 

Aanwezigheid van verschillen tussen jaardocumenten en achterliggende bronnen onbekend
De ambtelijke organisatie was niet bekend met de verschillen tussen de realisatiewaardes uit de P&C-documenten en de achterliggende bronnen. Ze draagt als mogelijke reden aan dat dit per ongeluk is gebeurd en gevolg is van wisselende personele bezetting waardoor het bronmateriaal niet altijd terug te vinden was.  Daarnaast geeft de ambtelijke organisatie aan dat waar cijfers over Amsterdam beschikbaar waren, die ook zijn gebruikt. Volgens de geïnterviewden waren deze cijfers niet altijd beschikbaar, onder andere doordat het bronmateriaal veranderde of doordat de gemeentelijke P&C-cyclus en de publicatiedata van de bronnen niet goed samenliepen.  Deze laatste redenering is een mogelijke verklaring voor de geconstateerde verschillen bij de doelindicator. Maar wij zien deze niet als plausibele verklaring voor de verschillen bij de activiteitindicatoren; de regiocijfers worden tegelijk met de cijfers over Amsterdam gepubliceerd in de jaarverslagen van het MDRA. Ook zien we geen aanwijzingen dat de gegevens uit de bronnen gewijzigd zijn.

Deelconclusie
We constateren dat de gepresenteerde kwantitatieve informatie over realisatiewaardes onvoldoende betrouwbaar is. Ondanks dat de bronnen betrouwbaar zijn, zien we dat de cijfers in de jaarstukken vaak niet overeenkomen met de informatie uit de broninformatie. De ambtelijke organisatie was niet bekend met deze verschillen en wist hier geen passende verklaring voor. Wij hebben de indruk dat bij de activiteitindicatoren per abuis veelal de meldingscijfers over de regio Amsterdam-Amstelland zijn overgenomen in plaats van de meldingscijfers over Amsterdam.

Peilwaardes onvoldoende onderbouwd

Met een peilwaarde worden de realisatiewaardes en streefwaardes voor de toekomst in (historisch) perspectief geplaatst. Door een peilwaarde wordt richting gegeven aan de ontwikkeling en een goed gekozen peilwaarde maakt inzichtelijk of een streefwaarde ambitieus is (of juist niet).

Voor de drie indicatoren hebben we over de jaren heen beoordeeld in hoeverre de peilwaardes zijn onderbouwd. Om een oordeel te geven over de onderbouwing van de peilwaarde hebben we gekeken of in de jaarstukken van 2019 tot en met 2023 een onderbouwing is opgenomen of dat de ambtelijke organisatie een onderbouwing kon geven voor de keuze van de peilwaarde. De mate van onderbouwing hebben we verdeeld in drie categorieën: ‘geen onderbouwing’ (indien onbekend is waarom de peilwaarde is gekozen en ook het peiljaar mist), ‘deels onderbouwd’ (indien het peiljaar aanwezig is, maar er verder geen argumentatie bekend is over waarom er voor dit peiljaar is gekozen) en ‘onderbouwd’ (als het duidelijk is waarom de peilwaarde is gekozen en deze ook voorzien is van een peiljaar). We constateren dat de drie peilwaardes onvoldoende zijn onderbouwd.

Peilwaardes niet onderbouwd
In tabel 6.1 presenteerden we de peilwaardes zelf. In onderstaande tabel 6.3 vatten we samen in welke jaren peilwaardes (niet of deels) onderbouwd waren in de P&C-documenten.

Tabel 6.3 - Mate van onderbouwing peilwaarde, per jaar
IndicatorMate van onderbouwing
 Geen onderbouwingDeels onderbouwdWel onderbouwing
Percentage Amsterdammers dat zich wel eens gediscrimineerd voelt

2019 
2020 
2021

2022 
2023 
-
Meldingen over discriminatie (Meldpunt discriminatie Regio Amsterdam)2019
2020
2021 
2022 
2023 
-
Meldingen over arbeidsdiscriminatie (MDRA)2019
2020
2021
2023
2022 -

In de jaarstukken is voor geen van de drie indicatoren een volledige onderbouwing van de peilwaarde opgenomen. Ook de ambtelijke organisatie kon de peilwaardes niet van een onderbouwing of toelichting voorzien. De ambtelijke organisatie geeft aan dat de peilwaardes voortkomen uit het beschikbare bronmateriaal. 

De peilwaarde van de activiteitindicator ‘Meldingen over discriminatie’ is vanaf 2021 voorzien van een peiljaar en de doelindicator bevat vanaf 2022 een peiljaar. De activiteitindicator 'Meldingen over arbeidsdiscriminatie’ is in geen enkel jaar voorzien van een peiljaar, tot het jaarverslag van 2022 waar als peiljaar 2019 is benoemd.

Het is bij de ambtelijke organisatie niet bekend welke peiljaren aan de peilwaardes zijn gekoppeld.  Uit het jaarverslag van het MDRA blijkt dat het aantal meldingen in 2017 1.036 was.  Wij nemen aan dat dit dan ook het peiljaar is bij de peilwaarde van de activiteitindicator ‘Meldingen over discriminatie’. Ook voor de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ lijkt 2017 als peiljaar te zijn genomen (en niet 2019 zoals de gemeente rapporteert in het Jaarverslag 2022) aangezien het MDRA over dat jaar 186 meldingen rapporteert op het terrein arbeidsmarkt, wat overeenkomt met de peilwaarde. Overigens betreft dit 186 meldingen op regioniveau en niet specifiek voor de gemeente Amsterdam.  Gezien de ontbrekende en niet-overeenkomende peiljaren, blijft het onduidelijk tegen welk jaar de ontwikkeling van arbeidsdiscriminatie wordt afgezet.

Deelconclusie
We constateren dat de peilwaardes door de jaren heen onvoldoende zijn onderbouwd. In geen van de jaarstukken van 2018 tot en met 2023 hebben we een onderbouwing gevonden waarom er voor deze peilwaardes is gekozen. In slechts een deel van de jaarstukken zijn de indicatoren voorzien van een peiljaar. Bij de ambtelijke organisatie is ook niet bekend hoe de peilwaardes tot stand zijn gekomen en welke peiljaren - wanneer deze ontbreken in de jaarstukken - er aan de peilwaardes zijn gekoppeld.

Indicatoren onvoldoende consistent

Een betekenisvolle indicator bestaat uit verschillende elementen: een omschrijving, peilwaarde, realisatiewaarden en streefwaarde. Bij een betrouwbare indicator zijn deze verschillende elementen op dezelfde definitie gebaseerd. Dat wil zeggen: de streefwaarde meet precies hetzelfde als de realisatiewaarde en de peilwaarde, en dit alles komt overeen met de omschrijving van de indicator. Voor de drie indicatoren hebben we beoordeeld of dit het geval is. Hierin laten we de streefwaardes achterwege, aangezien we in hoofdstuk 5 al constateerden dat deze (beredeneerd) niet aanwezig zijn. Daarnaast hebben we voor de drie indicatoren over de jaren heen beoordeeld in hoeverre er sprake was van een consistente meetwijze en berekening van de waardes. We constateren dat de drie indicatoren onvoldoende consistent zijn.

Interne consistentie indicatoren onvoldoende
We zien vanuit verschillende invalshoeken weinig interne consistentie bij elk van de indicatoren. We zien kanttekeningen bij de aansluiting tussen de formulering van de indicator en gepresenteerde waardes, mede door veranderingen in de formulering van de indicator(en), en in de peilwaardes (en bijbehorende jaren). Voor alle drie de indicatoren kunnen we niet nagaan of de peil- en realisatiewaardes op dezelfde wijze tot stand zijn gekomen. Omdat bij veel peilwaardes geen peiljaar is opgenomen (zie vorige paragraaf), kunnen we ook niet nagaan of in dat betreffende jaar de gepresenteerde waardes volgens de huidige meetwijze tot stand zijn gekomen.

Bij de doelindicator gaan de peil- en realisatiewaardes over ervaren discriminatie van Amsterdammers in de laatste twaalf maanden. De omschrijving van de doelindicator komt hier voor enkele jaren niet precies mee overeen. De formulering van de doelindicator (Percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld) wisselt af tussen ‘wel eens’ en ‘de afgelopen twaalf maanden’ (zie hoofdstuk 5 over formulering) waardoor de tijdspanne niet altijd is omschreven in de indicator. De peilwaarde van de doelindicator is van 2020  tot en met de Begroting 2022 consistent, in het Jaarverslag 2022 en de Begroting 2023 is zonder toelichting een andere peilwaarde opgenomen (zie tabel 6.1).

De activiteitindicatoren zijn omschreven als aantal meldingen over discriminatie en arbeidsdiscriminatie. De peil- en realisatiewaardes komen overeen met de omschrijving van de indicatoren, met als kanttekening dat de gepresenteerde waardes waarschijnlijk gaan over meldingen door inwoners in de regio Amsterdam-Amstelland en niet over meldingen door inwoners van de gemeente Amsterdam (zie paragraaf 5.1). De peilwaardes van de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ zijn consistent door de jaren heen. De peilwaardes – en bijbehorende jaren - van de indicator ‘Meldingen over discriminatie’ zijn niet consistent. Voor drie jaren (2019, 2020 en 2023) wordt als peilwaarde 1.036 genoteerd (zie tabel 3.1). In 2021 en 2022 is een andere peilwaarde en ander peiljaar opgenomen. De wijziging is niet toegelicht. Ten slotte verschuift het peiljaar van 2019 naar 2020, zonder dat deze wijziging is toegelicht. Door de verschuiving in peilwaarde en peiljaar wordt de ontwikkeling op de realisatiewaarde afgezet tegen verschillende startpunten, wat een betekenisvolle vergelijking van de voortgang door de tijd heen onmogelijk maakt.

Ten slotte zien we bij de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ een inconsistentie in de indicator als geheel. In de Begroting 2021 is deze verwoord als: “Percentage Amsterdammers dat de afgelopen twaalf maanden discriminatie op de arbeidsmarkt heeft ervaren” (bron: REB).  Vanaf het Jaarverslag 2021 is echter weer de indicator ‘Meldingen over arbeidsdiscriminatie' opgenomen.  De wijziging is in de jaarstukken niet toegelicht. De ambtelijke organisatie gaf aan dat deze wijziging te maken had met het destijds verschijnen van een monitor met een uitgebreidere meting van arbeidsdiscriminatie. Omdat deze monitor meer zou kunnen zeggen over arbeidsdiscriminatie is er toen voor gekozen om de indicator te wijzigen.  We vinden deze toelichting duidelijk en begrijpelijk, maar het blijft onduidelijk waarom de indicator vervolgens weer is terug veranderd.

Inconsistentie waardes jaarstukken
We zien ook inconsistentie in de jaarstukken. We zouden verwachten dat de peilwaardes overeenkomen met wat er in het peiljaar als realisatiewaarde is gerapporteerd. Dit is niet altijd het geval. Voor de doelindicator is de peilwaarde in het Jaarverslag 2022 en de Begroting 2023 13%, met als peiljaar 2018.  In het Jaarverslag 2019 is echter voor 2018 als realisatiewaarde 15% opgenomen.  Ook de gerapporteerde peilwaardes van de activiteitindicator ‘Meldingen over discriminatie’ (zie tabel 6.4) komen niet overeen met de realisatiewaardes van de bijbehorende jaren. Voor de activiteitindicator 'Meldingen over discriminatie' rapporteert de begroting in 2021 een andere peilwaarde dan het jaarverslag. De peilwaarde 544 voor 2021 en 2022 is gekoppeld aan peiljaar 2019. In het Jaarverslag 2019 is het aantal gerapporteerde meldingen voor 2019 595. Ook de peilwaarde voor 2023 met het peiljaar 2020 (1.036) komt niet overeen met de gerapporteerde realisatiewaarde voor 2020 (885).

We verwachten dat bij terug verwijzingen naar realisatiewaardes uit eerdere jaren dezelfde waarde wordt gerapporteerd als in het jaar waar naar wordt terugverwezen.
Ook hier zien we inconsistentie. Zo wordt in het Jaarverslag 2022 voor de activiteitindicator ‘Meldingen over discriminatie’ weergegeven dat in het Jaarverslag 2021 de realisatiewaarde 903 zou zijn gerapporteerd. In het Jaarverslag 2022 wordt ook naar de Begroting 2021 verwezen en hier staat wel 802 bij vermeld. Mogelijk is de inconsistentie tussen het Jaarverslag 2022 en eerdere jaardocumenten ook het gevolg van de omwisseling van kolommen zoals beschreven in paragraaf 6.1. Terwijl in het Jaarverslag 2021 (en in de Begroting 2023) 802 als realisatiewaarde voor 2021 is gerapporteerd.

Tabel 6.4 - Peilwaarde en -jaar voor de indicator ‘Meldingen over discriminatie’
JaartalPeilwaardePeiljaarRealisatiewaarde
202154420192019: 595
20225442019
20231.036 20202020: 885

Indicatoren consistent gemeten en berekend
Voor de doelindicator is de rekenwijze sinds de uitvraag in 2015 hetzelfde gebleven.  Wel hebben er methodische wijzigingen in de Veiligheidsmonitorenquête plaatsgevonden (zie onderstaand kader). Deze wijzigingen hebben mogelijk een klein (verhogend) effect op de realisatiewaarde gehad, maar verklaren volgens O&S niet de gehele toename in ervaren discriminatie. 

Kader wijzigingen Veiligheidsmonitor

De vragen over ervaren discriminatie zijn in 2021 naar voren gehaald in de vragenlijst, en de Veiligheidsmonitor wordt sinds 2021 alleen nog online afgenomen. In 2021 rapporteerde O&S dat 19% van de Amsterdammers zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld, ten opzichte van 13% in 2020. Toch is het volgens O&S onwaarschijnlijk dat deze methodewijzigingen de gehele stijging hebben veroorzaakt, omdat op andere indicatoren van de Veiligheidsmonitor niet soortgelijke grote veranderingen zichtbaar zijn. Met andere woorden: Amsterdammers hebben wel degelijk vaker discriminatie ervaren in 2021 dan in de jaren daarvoor. 

Voor de activiteitindicatoren gebruikt het MDRA sinds 2018 dezelfde werkwijze om de meldingen te registreren en te meten. 

Deelconclusie
We vinden de elementen van de indicator onvoldoende consistent. We zien een diversiteit aan inconsistenties: in de formulering van de doelindicator, in de peilwaardes- en jaren en in de gerapporteerde waardes in verschillende jaarstukken. Ook is de activiteitindicator 'Meldingen over arbeidsdiscriminatie' eenmalig in zijn geheel gewijzigd. Wel consistent zijn de meetwijze en berekening van de drie indicatoren; deze zijn door de jaren heen gelijk gebleven.

Conclusie

We constateren dat de drie indicatoren onvoldoende betrouwbaar zijn. De bronnen zelf zijn naar ons oordeel wel betrouwbaar. Daarnaast is de meetwijze en berekening van de indicatoren door de jaren heen consistent. Over de jaren heen komen de waardes in de jaarstukken echter vaak niet overeen met de broninformatie. De ambtelijke organisatie was niet op de hoogte van deze verschillen en er lijkt dan ook geen overdracht plaats te vinden tussen de ambtelijke organisatie en de opstellers van de broninformatie. Ook missen we een onderbouwing van de peilwaardes. Hierdoor blijft het onduidelijk waarom de huidige peilwaardes zijn gekozen en hoe de ontwikkeling vordert. Verder vinden we de elementen van de indicatoren onvoldoende consistent. Dat de pijlwaarde of realisatiewaarde die hoort bij één jaartal verschilt tussen documenten vinden we kwalijk; daardoor is het niet eenduidig wat de juiste waarde is.

Relevantie van de indicatoren

Een goede indicator geeft een relevant inzicht in de (beleids)uitvoering van een bepaalde activiteit (activiteitindicator) of de mate waarin een bepaald doel is bereikt (doelindicator). Met ‘relevant inzicht’ bedoelen we dat een indicator iets zegt over het doel of de activiteit waaraan deze verbonden is en past bij de bovenliggende beleidsdoelen en bijbehorende activiteiten. Daarnaast hangen het doel en de bijbehorende activiteit bij een relevante indicator ook logisch samen. Onze beoordeling van de relevantie is gebaseerd op een analyse van de jaarstukken en de gesprekken die we met de ambtelijke organisatie hebben gehad over het antidiscriminatiebeleid en de indicatoren.

In dit onderzoek beoordelen we drie indicatoren: één doelindicator en twee activiteitenindicatoren. In de jaren 2018 tot en met 2023 is er een wijziging geweest in de bovenliggende begrotingsdoelen en activiteiten van de drie indicatoren. Tot 2023 is het begrotingsdoel en de activiteit van het antidiscriminatiebeleid hetzelfde gebleven, en vanaf 2023 zijn het begrotingsdoel en de activiteit aangepast (zie onderstaande kaders).

Doelen en activiteiten uit de Begrotingen 2019 tot en met 2022

Doel:

  • Amsterdam is een inclusieve verbonden stad.

Activiteiten:

  • We bestrijden discriminatie;
  • We bevorderen verbondenheid en inclusie. NB Dit is geen onderdeel van dit onderzoek.
Doelen en activiteiten uit de doelenboom Begroting 2023

Doel:

  • Discriminatie in Amsterdam neemt af.

Activiteit:

  • We verhogen de meldingsbereidheid bij discriminatie.

Voor de beoordeling van de relevantie van de indicatoren hebben we de volgende toetspunten gehanteerd:

  1. De indicator geeft relevant inzicht in de uitgevoerde activiteit of het nagestreefde doel;
  2. De indicator heeft een logische samenhang binnen de doelenboom.

In dit hoofdstuk nemen we de toetspunten samen en maken we onderscheid in ons oordeel op deze toetspunten in de periode tot 2023 en vanaf 2023. We constateren dat tot 2023 de doelindicator voldoende relevant inzicht geeft, de activiteitindicatoren onvoldoende relevant inzicht geven, en de logische samenhang voldoende is. Vanaf 2023 constateren we voldoende relevant inzicht bij de doelindicator, onvoldoende relevant inzicht bij de activiteitindicatoren en onvoldoende logische samenhang.

Tot 2023: voldoende logische samenhang en deels voldoende inzicht

Enkel doelindicator geeft inzicht in bijbehorend doel
In onderstaande alinea’s beoordelen we of de indicatoren relevant inzicht geven in het begrotingsdoel of de -activiteit tot 2023. Met ‘relevant inzicht’ bedoelen we dat een indicator inzicht geeft in het doel of de activiteit waaraan deze verbonden is.

Tot 2023 was het begrotingsdoel om Amsterdam een inclusieve verbonden stad te laten zijn. De doelindicator (het percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld) geeft inzicht in ervaren discriminatie door Amsterdammers. Een indicator die inzicht geeft in discriminatie past volgens de ambtelijke organisatie bij de beoogde verbondenheid. Discriminatie hangt negatief samen met een verbonden stad omdat de verbonden stad gaat over gelijkwaardigheid, terwijl discriminatie gaat over het anders behandelen van iemand op basis van een eigenschap. De indicator geeft een beeld van de mate waarin Amsterdammers voorvallen van uitsluiting ervaren, en geeft daarmee inzicht in gebrek aan verbondenheid.   We kunnen deze redeneerlijn goed volgen. De kanttekening die we zien bij de aansluiting tussen indicator en begrotingsdoel is dat de indicator gaat over discriminatie ervaren door Amsterdammers. En niet per se over discriminatie in de gemeente Amsterdam - wat wel de focus is van het begrotingsdoel.  Daarnaast wordt met de huidige indicator niet in beeld gebracht hoeveel mensen die niet in Amsterdam wonen, wel in Amsterdam (een voorval van) discriminatie hebben ervaren. 

De activiteitindicatoren geven inzicht in het aantal meldingen door inwoners van de regio Amsterdam-Amstelland over discriminatie en arbeidsdiscriminatie dat is binnengekomen bij het MDRA. Ons valt op dat de meldingen outcome-indicatoren betreffen. Deze zijn niet direct gerelateerd aan de inspanningen die de gemeente pleegt om voortgang te boeken op de activiteit 'we bestrijden discriminatie'. Dit wordt ook door de ambtelijke organisatie aangegeven.  In de gemeentelijke jaarstukken en andere documenten is niet toegelicht hoe de gemeente deze relatie ziet.

Naast de beperkte aansluiting tussen activiteitindicatoren en de bijbehorende activiteit ziet de ambtelijke organisatie nog andere tekortkomingen bij deze indicatoren. De indicatoren zijn onderhevig aan invloeden van buitenaf. Maatschappelijke ontwikkelingen, incidenten en andere invloeden van buitenaf beïnvloeden de mate van ervaren discriminatie en de mate waarin mensen discriminatie herkennen.  Bovendien brengen de indicatoren slechts een gedeelte van discriminatie in beeld.  Een laatste tekortkoming die wij zelf signaleren sluit hierop aan: de activiteitindicatoren geven inzicht in meldingen gedaan door inwoners van de regio Amsterdam-Amstelland en betreffen niet per se voorvallen van discriminatie in de gemeente Amsterdam. Bovendien is buiten beeld hoeveel meldingen over voorvallen van discriminatie in Amsterdam worden gedaan door personen die buiten de regio wonen, omdat alleen inwoners van de regio Amsterdam-Amstelland een melding van discriminatie kunnen maken bij het MDRA. 

Vanwege het gebrek aan aansluiting tussen activiteit en activiteitindicatoren vinden we dat deze indicaoren onvoldoende relevant inzicht geven. Volgens de ambtelijke organisatie is het, vanwege de gesignaleerde tekortkomingen bij de indicatoren, vooral nuttig om lering te trekken uit de casussen die onderliggend zijn aan de meldingscijfers. 

Doel en activiteit hangen logisch met elkaar samen
In onderstaande alinea beoordelen we of het begrotingsdoel en de -activiteit tot 2023 logisch met elkaar samenhangen. Met een logische samenhang bedoelen we dat de activiteit die met de indicator is beschreven volgens een logische redenatie past bij het bovenliggende doel.

De voor dit onderzoek relevante activiteit onder het doel was tot 2023 ‘we bestrijden discriminatie’. De ambtelijke organisatie vindt deze activiteit passen bij het doel.  Verdergaand op de voorgenoemde redenatie dat discriminatie een inclusieve, verbonden stad belemmert, past het bestrijden van discriminatie logischerwijs bij het bevorderen van verbondenheid (en inclusiviteit). Deze redenatie kunnen we goed volgen en we vinden het begrotingsdoel en de activiteit dan ook logisch met elkaar samenhangen.

Deelconclusie
We vinden de indicatoren tot 2023 logisch samenhangen, maar onvoldoende inzicht geven in het bovenliggende doel en de activiteiten. Wij vinden het doel (Amsterdam is een inclusieve verbonden stad) en de activiteit (we bestrijden discriminatie) via een logische redenering met elkaar verbonden. Want, om verbondenheid te creëren zal je uitsluiting moeten tegengaan en dus discriminatie moeten bestrijden. De doelindicator geeft inzicht in het begrotingsdoel omdat ervaren discriminatie iets zegt over de mate van en/of gebrek aan verbondenheid. De activiteitindicatoren (de meldingen over discriminatie en arbeidsdiscriminatie bij het MDRA) geven als outcome-indicatoren geen inzicht in de inspanningen van de gemeente om discriminatie te bestrijden. Bovendien worden de indicatoren door vele andere factoren beïnvloed. Een kanttekening bij alle drie de indicatoren is dat ze ervaren discriminatie onder Amsterdammers in beeld brengen waarbij het voorval van discriminatie ook op andere plekken kan hebben plaatsgevonden, terwijl het doel en de activiteit specifiek gaan over discriminatie in Amsterdam.

Vanaf 2023: onvoldoende logische samenhang en deels voldoende inzicht

Enkel doelindicator geeft inzicht in bijbehorend doel
In onderstaande alinea’s beoordelen we of de indicatoren relevant inzicht geven in het begrotingsdoel of de -activiteit vanaf 2023. Met ‘relevant inzicht’ bedoelen we, zoals ook vermeld in 7.1, dat een indicator inzicht geeft in het doel of de activiteit waaraan deze verbonden is.

In de doelenboom van de Begroting 2023 is het begrotingsdoel aangepast naar: 'discriminatie in Amsterdam neemt af'. De doelindicator geeft inzicht in ervaren discriminatie door Amsterdammers en sluit daarmee aan bij het begrotingsdoel vanaf 2023. Zoals al toegelicht in paragraaf 7.1 plaatsen we daarbij wel een kanttekening: de doelindicator gaat niet specifiek over discriminatie in Amsterdam  en brengt niet in beeld hoeveel mensen, die niet in Amsterdam wonen, wel in Amsterdam (een voorval van) discriminatie hebben ervaren. 

De activiteit in de Begroting 2023 is 'We verhogen de meldingsbereidheid bij discriminatie'. De activiteitindicatoren geven inzicht in de meldingen over (arbeids)discriminatie bij het MDRA en zijn daarmee gerelateerd aan meldingsbereidheid. Tegelijkertijd zijn er meerdere meldpunten voor (arbeids)discriminatie, zeggen deze outcome-indicatoren niks over de inspanningen van de gemeente om de meldingsbereidheid te verhogen en worden de realisatiecijfers beïnvloed door ontwikkelingen van buitenaf (zie paragraaf 7.1). Dit maakt dat de activiteitindicatoren geen relevant inzicht geven in de activiteit die de gemeente voor ogen heeft.

Doel en activiteit hangen vanaf 2023 niet logisch samen
In onderstaande alinea beoordelen we of het begrotingsdoel en de -activiteit vanaf 2023 logisch met elkaar samenhangen. Met een logische samenhang bedoelen we dat de activiteit die met de indicator is beschreven volgens een logische redenatie past bij het bovenliggende doel.

Wij vinden de samenhang tussen het doel en de activiteit niet logisch. De meldingsbereidheid is op zichzelf niet gerelateerd aan het afnemen (of toenemen) van discriminatie, maar gaat over de bereidheid van mensen om een melding te maken over ervaren discriminatie.

Deelconclusie
We vinden de indicatoren vanaf 2023 niet logisch met elkaar samenhangen en alleen de doelindicator geeft relevant inzicht in het bovenliggende doel. We vinden dat de activiteit (we verhogen de meldingsbereidheid) niet logischerwijs past bij het bovenliggende doel (discriminatie in Amsterdam neemt af) omdat meldingsbereidheid niet is gerelateerd aan het afnemen van discriminatie. Meldingsbereidheid gaat over de persoonlijke afwegingen van Amsterdammers om wel of geen melding te maken van ervaren discriminatie, ongeacht hoe vaak discriminatie voorkomt. De doelindicator geeft inzicht in het vóórkomen van discriminatie, met de kanttekening dat de indicator niet alleen gaat over discriminatie in Amsterdam. De activiteitindicatoren zijn gerelateerd aan meldingsbereidheid, maar door verschillende te plaatsen kanttekeningen geven ze geen direct relevant inzicht in de begrotingsactiviteit 'we verhogen de meldingsbereidheid'.

Ervaren mismatch tussen indicatoren en het beleid

We beoordeelden in dit onderzoek de relevantie van de indicatoren door te kijken naar relevant inzicht van de indicator in het begrotingsdoel en de -activiteit, en de logische samenhang met het bovenliggende beleidsdoel. Naast inzicht in deze twee toetspunten (zie paragrafen 7.1 en 7.2) gaf de ambtelijke organisatie ons aanvullend inzicht in de mismatch die ze ervaart tussen de huidige en gewenste indicatoren en werkwijze.

Indicatoren geven onvoldoende inzicht in beleid
In de jaardocumenten wil de ambtelijke organisatie graag aan de raad laten zien wat ze beleidsmatig doet en waar het beleid over gaat. De essentie van het antidiscriminatiebeleid is volgens de ambtelijke organisatie drieledig: 1. het bewustwordingsproces rondom discriminatie stimuleren; 2. het toewerken naar een inclusieve stad door emancipatie te faciliteren en discriminatie tegen te gaan; en 3. het normstellen als gemeente: Amsterdam is een inclusieve stad waarin discriminatie niet wordt geaccepteerd. De indicatoren reflecteren volgens de ambtelijke organisatie niet goed hoe de afdeling Diversiteit werkt aan deze essentie en in hoeverre hierop voortgang wordt geboekt. De huidige indicatoren zijn volgens de ambtelijke organisatie destijds vooral gekozen omdat ze al bestonden; ze maakten het mogelijk om (relatief gemakkelijk) cijfers aan te leveren. 

De ambtelijke organisatie is actief bezig met het verbeteren van de indicatoren en de meetbaarheid van (de uitkomsten van) het gevoerde beleid, omdat ze de raad graag wil laten zien wat het effect is van het gevoerde beleid.  Daarbij ervaart ze verschillende lastige afwegingen en dilemma's rondom hoe je op een zinvolle manier inzichtelijk maakt wat de afdeling doet en op welk niveau er gemeten en gemonitord kan worden. 

Huidige cijfermatige verantwoording past niet bij het gesprek dat de afdeling wil voeren
Het rapporteren over de voortgang van het antidiscriminatiebeleid zou volgens de afdeling beter passen in een gesprek. Maar dit gesprek past niet goed in de huidige gemeente-brede werkwijze rondom verantwoording. De ambtelijke organisatie vindt de huidige werkwijze met de focus op cijfers knellend voor en niet passen bij wat de afdeling Diversiteit doet. De afdeling houdt zich bezig met hoe ze met het gevoerde beleid de meeste impact kan hebben in de stad en er lopen veel interventies waarvan de effecten pas op langere termijn zichtbaar worden. De ambtelijke organisatie zou het gesprek, onder andere met de raad, leidend willen laten zijn in het afleggen van verantwoording over de voortgang. 

Indicatoren belangrijk voor zichtbaarheid en debat
De ambtelijke organisatie vindt de huidige indicatoren wel van belang voor zowel de zichtbaarheid van de afdeling als het voeren van gesprekken over het antidiscriminatiebeleid in Amsterdam.  De cijfers van de indicatoren zijn daarbinnen helpend om het onderwerp onder de aandacht te brengen. 

Deelconclusie
De ambtelijke organisatie vindt dat de indicatoren niet direct iets over het beleid zeggen en geeft aan dat het lastig is om aan de hand van cijfers op een zinvolle manier inzichtelijk te maken wat de afdeling doet. De indicatoren dienen nu vooral om de afdeling zichtbaar te maken en om het debat over antidiscriminatie te stimuleren.

Conclusie

We constateren dat de doelindicator voldoende relevant is met ruimte voor verbetering maar we vinden de activiteitindicatoren onvoldoende relevant. De doelindicator zegt iets over het doel (zowel tot 2023 als vanaf 2023), met als verbeterpunt dat de indicator - in tegenstelling tot het doel - niet specifiek over ervaren discriminatie in Amsterdam gaat. We vinden de activiteitindicatoren onvoldoende aansluiten bij de activiteiten (tot en vanaf 2023) omdat ze geen inzicht geven in de inspanningen van de gemeente op 'bestrijden van discriminatie' (tot 2023) of 'vergroten van meldingsbereidheid' (vanaf 2023). Bovendien wordt het aantal (arbeids)discriminatiemeldingen beïnvloed door diverse factoren. Tot 2023 hangt de begrotingsactiviteit logisch samen met het begrotingsdoel, maar vanaf 2023 zien we niet hoe de begrotingsactiviteit (vergroten meldingsbereidheid) bijdraagt aan of gerelateerd is aan het bovenliggende doel (discriminatie in Amsterdam neemt af). De ambtelijke organisatie vindt dat de indicatoren niet direct iets over het beleid zeggen en geeft aan dat het lastig is om aan de hand van cijfers op een zinvolle manier inzichtelijk te maken wat de afdeling doet.

Begrijpelijkheid van de indicatoren

Een bruikbare indicator is begrijpelijk. Een begrijpelijke indicator is er één die niet op zichzelf staat, maar een helder geheel vormt met de omliggende tekst waarin toereikende uitleg over en duiding van de indicator wordt gegeven. Hierdoor krijgt de indicator informatiewaarde voor degene die de indicator wil gebruiken.

Om te beoordelen of er sprake is van begrijpelijke indicatoren, hebben we gekeken of de begrotingsindicatoren adequaat zijn toegelicht in de omliggende tekst. Ons oordeel over de begrijpelijkheid is gebaseerd op een analyse van de jaarverslagen, begrotingen en beleidsbrief en voortgangsbrieven die zijn opgesteld.

Onvoldoende adequate toelichting

In een toelichting verwachten we dat er uitleg wordt gegeven over het belang en/of de betekenis van de indicator. Dit is dus anders dan een toelichting op elementen van de indicatoren waar we in hoofdstuk 5 naar kijken. Daarnaast verwachten we een toelichting op de streefwaarden en duiding van de ontwikkeling op de realisatiewaarden om zo de (voortgang op) de indicatoren in perspectief te plaatsen. We constateren dat de indicatoren onvoldoende adequaat zijn toegelicht.

Minimale uitleg over de indicatoren in de jaardocumenten
Het overgrote deel van de begrotingen en jaarverslagen bevat geen uitleg over het belang en de betekenis van de huidige indicatoren. De Begroting 2022 vormt hier een uitzondering op (zie kader). Daarin is meer informatie opgenomen over het belang van de doelindicator. Bij de doelindicator is toegelicht hoe het streven om discriminatie tegen te gaan past bij het doel om een inclusieve en verbonden stad te zijn.  De activiteitindicatoren zijn in de Begroting 2022 niet voorzien van uitleg over het belang en de betekenis van de indicatoren. In de beleidsbrief Diversiteit en inclusiviteit en in de voortgangsbrieven zijn we ook geen toelichting op de drie indicatoren tegengekomen.

Toelichting indicatoren Begroting 2022

Toelichting indicator ‘Percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld’:

“In een inclusieve en verbonden stad is er geen plek voor discriminatie. Helaas geven Amsterdammers aan dat zij toch last hebben van discriminatie, onder andere vanwege herkomst, huidskleur of seksuele geaardheid. Wij zetten ons samen met maatschappelijke organisaties en partners in om discriminatie en uitsluiting institutioneel tegen te gaan.” 

Nauwelijks duiding aanwezig
Gezien de (beargumenteerde) afwezigheid van streefwaarden (zie paragraaf 5.2), bevatten de jaarstukken ook geen inhoudelijke toelichting over de streefwaarden. Ondanks de aankondiging in de jaarstukken dat de waardes van de indicatoren worden gebruikt om het gesprek over te voeren, hebben we niet kunnen vaststellen dat er een gesprek over de waardes heeft plaatsgevonden (zie ook paragraaf 5.2). Daarnaast wordt de ontwikkeling van de indicatoren nauwelijks toegelicht in de jaarstukken. De realisatiewaardes worden niet geduid en door het vaak ontbreken van een peiljaar (zie paragraaf 5.2) is het lastig om de ontwikkeling van de indicatoren in historisch perspectief te plaatsen. Voor de jaren met een peilwaarde en -jaar wordt niet toegelicht hoe de ontwikkeling geïnterpreteerd moet worden. En ook in de voortgangsbrieven zien we geen duiding op de ontwikkeling rondom de indicator terug, noch aandacht voor wat er is gerealiseerd op de individuele indicatoren. 

Een uitzondering op het gebrek aan duiding is de Begroting 2022 waarin invulling wordt gegeven aan de ontwikkeling van beide activiteitindicatoren ten opzichte van de voorgaande jaren (zie kader). De ontwikkeling op de activiteitindicator ‘Meldingen over discriminatie' is geduid ten opzichte van het peiljaar door een toelichting over de context die van invloed geweest kan zijn op de waargenomen stijging.  Bij de activiteitindicator ‘Meldingen over arbeidsdiscriminatie' is toegelicht dat de meest gemelde incidenten van discriminatie op de arbeidsmarkt gebeuren en dat dit in voorgaande jaren ook zo was (er wordt hier geen expliciete link gelegd met het peiljaar). Daarnaast zijn de meldingen inhoudelijk toegelicht: waar ze vaak over gaan en waar en wanneer ze in het arbeidsproces plaatsvinden.  De doelindicator is in de Begroting 2022 niet voorzien van toelichting op de ontwikkeling.

Toelichting indicatoren Begroting 2022

Toelichting indicator ‘Meldingen over discriminatie’:

“Het afgelopen jaar (2020) was bijzonder en er gebeurde veel in de samenleving. Van de wereldwijde uitbraak van corona tot Black Lives Matter. Dit alles had ook gevolgen voor het Meldpunt Discriminatie en Racisme Amsterdam (MDRA). Zo ontving het Meldpunt veel meldingen van discriminatie van mensen met een Aziatische achtergrond. Dit vanwege discriminerende opmerkingen over het coronavirus en mensen met een Aziatisch uiterlijk. De Black Lives Matter beweging organiseerde een protest in Amsterdam op 1 juni 2020. Daarbij spraken meer dan 5.000 mensen zich uit tegen discriminatie en racisme. Het groeiende onbehagen in de Nederlandse samenleving over discriminatie en racisme is te zien in het aantal meldingen bij het Meldpunt. Dat steeg met maar liefst 120% tegenover 2019. Net als in 2019 ging meer dan de helft van de meldingen over discriminatie vanwege herkomst of huidskleur.” Bron: MDRA, Jaarverslag 2020. 

Toelichting indicator ‘Meldingen over arbeidsdiscriminatie’:

“Het MDRA rapporteert dat de meest gemelde incidenten van discriminatie net als de voorgaande jaren op de arbeidsmarkt gebeuren. Meldingen gaan vaak over discriminatie vanwege:

  • afkomst of huidskleur;
  • geslacht;
  • leeftijd;
  • beperking of chronische ziekte;
  • godsdienst.

De meeste meldingen gebeuren op de werkvloer. Daarna volgen discriminatie tijdens het werving- en selectieproces en discriminatie bij uitstroom (bijvoorbeeld een ontslagprocedure). Bron: MDRA, Jaarverslag 2020. 

Ambtelijke organisatie benadrukt belang van duiding
De ambtelijke organisatie vindt het van belang om niet alleen cijfermatige informatie aan de raad te rapporteren, maar deze ook van uitleg te voorzien.  Ook de organisaties die gaan over de broninformatie en de cijfers voor de jaarstukken aanleveren aan de afdeling Diversiteit, benadrukken het belang van duiding bij de gepresenteerde cijfers rondom ervaren discriminatie. De cijfers spreken niet voor zich (zie ook hoofdstuk 7 over relevantie) en alle geïnterviewden vinden het daarom belangrijk om toelichting te geven bij wat de cijfers wel en niet laten zien. 

De huidige P&C-documenten zijn volgens de ambtelijke organisatie niet toereikend om de context rondom en de betekenis van de cijfers te schetsen.  In de P&C-documenten is weinig ruimte voor context van en toelichting op de indicatoren. De ambtelijke organisatie geeft aan dat zij voor de Begroting 2023 wel informatie over de context van het beleidsveld heeft aangeleverd. Maar deze informatie zag ze niet terug in de begroting. 

Gezien het belang dat de ambtelijke organisatie hecht aan toelichting en duiding, vinden we het opvallend dat de indicatoren, inclusief realisatiecijfers, niet zijn opgenomen in de jaarlijkse voortgangsbrieven. Dit had ons een logische plek geleken om context te schetsen bij de cijfers en deze cijfers te duiden. In de voortgangsbrief Diversiteit en Inclusie 2022 is wel in grote lijnen (dus niet specifiek voor de indicatoren) benoemd dat cijfermatig inzicht geven ingewikkeld is in het beleidsveld van antidiscriminatie. 

Conclusie

We constateren dat de drie indicatoren onvoldoende begrijpelijk zijn. Enerzijds omdat het belang en de betekenis van de indicatoren nauwelijks worden toegelicht in de jaardocumenten en de voortgangsbrieven. Anderzijds omdat de duiding van de ontwikkeling rondom de indicatoren mist in het overgrote deel van de jaardocumenten. De afwezigheid van duiding in de P&C-stukken en voortgangsbrieven of een gesprek over de waardes maakt de ontwikkeling van de indicatoren minder begrijpelijk. Alle geïnterviewden vinden toelichting op de context en duiding van de indicatoren wel belangrijk omdat de cijfers op zichzelf weinig zeggen. Desondanks zijn het belang, de betekenis en de duiding van de ontwikkeling van de indicatoren niet consequent in de jaarstukken, noch in andersoortige informatie richting de gemeenteraad, terechtgekomen.

Informatiebehoefte van de raad

In dit hoofdstuk geven we antwoord op deelvraag 2: wat heeft de raad aan (voortgangs)informatie nodig om zijn controlerende taak op het antidiscriminatiebeleid uit te voeren en voorzien de indicatoren daarin?

Om deze vraag te beantwoorden, hebben we raadsleden uitgenodigd om ons op vier vragen van informatie te voorzien op een voor hen passende manier (via een gesprek, enquête, per e-mail of per WhatsApp-spraakbericht). Vijf raadsleden hebben hierop gereageerd; we voerden een individueel gesprek met drie raadsleden en twee raadsleden vulden onze enquête in. Deze vijf raadsleden vertegenwoordigen vier oppositiepartijen. In de gesprekken en de enquête stelden we dezelfde vier vragen rondom de indicatoren van en informatievoorziening over het antidiscriminatiebeleid. Gezien het beperkte aantal reacties dat we kregen, vormen de inzichten die we hieruit opdeden een impressie van de ervaring van raadsleden.

Deze inzichten hebben we aangevuld met een analyse van raads(commissie)verslagen van de commissie KDD (2018 tot en met februari 2022) en de commissie FKD (februari 2022-begin 2023). In deze verslagen zijn we nagegaan of en hoe indicatoren besproken worden en hoe de indicatoren gebruikt worden in de sturing op het beleidsveld. Hieronder geven we onze bevindingen weer.

Indicatoren over het antidiscriminatiebeleid weinig gebruikt
De vijf raadsleden gebruiken de indicatoren van het antidiscriminatiebeleid veelal niet.   Dit komt enerzijds voort uit de ervaren geringe bruikbaarheid van de huidige indicatoren om inzicht te geven in het beleid. Eén raadslid is kritisch op de cijfers die vanuit het MDRA worden gerapporteerd, omdat deze cijfers maar een beperkt beeld geven van discriminatie en het gevoerde beleid.  Anderzijds komt het beperkte gebruik voort uit de kijk op het huidige beleid: het beleid richt zich volgens een ander raadslid niet op de juiste zaken, waardoor ook de indicatoren niet over de juiste zaken informeren. 

Uit de verslagen van de commissie- en raadsvergaderingen blijkt dat raadsleden de indicatoren nauwelijks gebruiken om in gesprek te gaan over (ontwikkelingen op) het antidiscriminatiebeleid.  Tijdens de besprekingen van de beleidsbrief in 2019 en de voortgangsbrieven in 2020, 2021 en 2022 worden de indicatoren nauwelijks aangehaald (zie tabel 9.1). Datzelfde beeld zien we tijdens de besprekingen van de begrotingen van 2019 en 2021 tot en met 2023 (zie tabel 9.2). Tijdens de bespreking van de Begroting 2020 wordt wel op de indicatoren ingegaan, met name op keuze voor de huidige indicatoren in relatie tot het beleid. Eén raadslid geeft aan voorkeur te hebben voor een indicator die “het naar tevredenheid afhandelen van die meldingen” meet. Die formulering zegt volgens het raadslid meer over de bestrijding van discriminatie dan enkel het aantal meldingen.  Ook tijdens andere commissievergaderingen zetten de raadsleden hun vraagtekens bij de gekozen indicatoren. Eén raadslid mist bij de bestrijding van discriminatie bijvoorbeeld een afhandelingsindicator. Nu wordt volgens het raadslid alleen de meldingsbereidheid van burgers gemeten en of men het MDRA kan vinden.  Ondanks dat de indicatoren nauwelijks worden gebruikt of besproken, zien raadsleden wel het belang van indicatoren voor het voeren van het debat over het antidiscriminatiebeleid. 

Tabel 9.1 - Indicatoren in bespreking beleidsbrief en voortgangsbrieven
DocumentCommissie- of raadsvergaderingIndicatoren besproken?
Beleidsbrief Diversiteit en inclusiviteitCommissie KDD op 30 januari 2019Nee
Beleidsbrief Diversiteit en inclusiviteitRaadsvergadering op 13 maart 2019Nee
Voortgangsbrief Diversiteit en inclusie 2020Commissie KDD op 26 februari 2020Nee*
Voortgangsbrief Diversiteit en inclusie 2021T.k.n. in de commissie KDD op 7 april 2021n.v.t.
Voortgangsbrief Diversiteit en inclusie 2022 + Beleidsmonitor diversiteit 2022Commissie KDD op 2 februari 2022Nee

* Enkel het belang van indicatoren is in deze vergadering aangehaald. De indicatoren zijn niet inhoudelijk besproken.

Tabel 9.2 - Indicatoren in bespreking begrotingen
DocumentCommissie- of raadsvergaderingIndicatoren besproken?
Begroting 2019Commissie KDD op 31 oktober 2018Nee
Begroting 2020Commissie KDD op 16 oktober 2019Ja
Begroting 2021 Commissie KDD 11 november 2020 en 2 december 2020Nee
Begroting 2022Commissie KDD 8 oktober 2021Nee
Begroting 2023Commissie FKD op 1 november 2022Nee

Raadsleden wenden zich tot andere bronnen voor voortgangsinformatie
Raadsleden informeren zich veelal op een andere wijze over de voortgang op het antidiscriminatiebeleid dan door middel van indicatoren. Ze informeren zich middels brieven (zoals voortgangsbrieven en raadsbrieven) en onderzoeken die door de wethouder met de raad worden gedeeld. Raadsleden spreken ook met maatschappelijke partijen en met hun contacten in het veld, stellen vragen aan de wethouder of dienen moties in.  Daarnaast worden rapporten, werkbezoeken en de media genoemd als middelen om zich te informeren. 

Om te kunnen sturen, vinden raadsleden meetbaarheid en uitleg van belang
Informatie over welke beleidsactiviteiten het college inzet met welk doel, wat daarvan de resultaten zijn en of het beleid als geheel doet wat het college voor ogen had, is voor de raadsleden van belang om te kunnen (bij)sturen op het antidiscriminatiebeleid.  Raadsleden vinden de meetbaarheid van beleid(sactiviteiten) en uitkomsten van belang, zodat ze op een behapbare manier kennis kunnen nemen van deze informatie.  Uit zowel de commissieverslagen als uit de gesprekken blijkt dat raadsleden juist die meetbaarheid nu missen.  Overigens erkennen raadsleden ook dat het meetbaar maken van beleid(seffecten) binnen het antidiscriminatiebeleid moeilijk en complex is. 

Om 'aan de voorkant' te kunnen sturen op het beleid willen raadsleden niet alleen (meetbare) doelen, maar willen ze ook meer toelichting op het beleid en de achterliggende (veronderstelde) werkende mechanismes.  Dat vinden ze nu niet duidelijk genoeg. Tijdens de bespreking van de Begroting 2023 geeft een raadslid aan dat het niet duidelijk wordt waar het geld rondom diversiteit heengaat, voor welk doel en hoe dat moet gaan helpen.  Ook uit de input van de raadsleden voor dit onderzoek komt de behoefte aan meer toelichting rondom de werkende mechanismes naar voren. Raadsleden geven aan meer informatie en context te willen bij de genomen beleidsmaatregelen: wat zet men waarom in.  Ook mist een raadslid uitleg over hoe de verschillende maatregelen rondom antidiscriminatie binnen het beleid met elkaar verbonden zijn. 

Om indien nodig te kunnen bijsturen 'aan de achterkant' hebben raadsleden behoefte aan informatie over wat de genomen maatregelen opleveren en of ze bereiken wat ze beogen. Zo willen raadsleden graag meer inzicht in de mate waarin maatregelen rondom antidiscriminatie succesvol zijn.  Bijvoorbeeld door een overzicht van alle gemeentelijke maatregelen met de beoogde en gerealiseerde effecten zodat inzichtelijk wordt in hoeverre de maatregelen het gewenste effect opleveren. 

Tot slot hebben raadsleden behoefte aan duiding van de cijfers rondom antidiscriminatie. Momenteel missen ze dit. Zo valt een raadslid bij de MDRA-meldingscijfers op dat de cijfers geen compleet beeld schetsen.  Een ander raadslid mist duiding van cijfers in het licht van doelgroepen en de samenstelling van gebieden in de stad.  Het gebrek aan duiding werd ook aangehaald tijdens de bespreking van de beleidsbrief Diversiteit en inclusiviteit. 

Conclusie

De indicatoren over het antidiscriminatiebeleid worden door raadsleden beperkt gebruikt en besproken en er worden vraagtekens gezet bij de keuze voor de indicatoren in relatie tot het gevoerde beleid. Raadsleden informeren zich op andere manieren dan door middel van indicatoren over de voortgang op het antidiscriminatiebeleid. Om te kunnen sturen op het beleid 'aan de voorkant' en indien nodig te kunnen bijsturen 'aan de achterkant' hebben raadsleden behoefte aan behapbare, en zoveel mogelijk meetbaar gemaakte informatie over beleidsdoelen, genomen beleidsmaatregelen en daarop bereikte effecten. En ze willen graag toelichting op gemaakte keuzes. Raadsleden zien op al deze punten verbetermogelijkheden in de huidige informatievoorziening. Tot slot missen de raadsleden in de huidige voortgangsinformatie duiding van de cijfers.

Aanleiding

Inleiding

Indicatoren in de Amsterdamse begroting

In de jaarstukken van de gemeente Amsterdam wordt inzicht gegeven in wat het college wil bereiken, welke activiteiten daarvoor worden (of zijn) ontplooid en wat de bereikte of verwachte voortgang is. Hiermee geeft de gemeente invulling aan de verplichting  om systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. Dit doet de gemeente al jaren, onder meer met indicatoren.  Indicatoren zijn kernwaarden of ‘thermometers’ waarmee het college de raad informeert over een bepaalde stand van zaken. Ze moeten informatie geven over het behalen van de doelen van de gemeente en de (voortgang van / ontwikkeling in de) uitvoering van de activiteiten om die doelen te behalen. De indicatoren uit de jaarlijkse begroting zijn belangrijk voor de gemeenteraad om integraal en volledig  overzicht te krijgen over de doelen en activiteiten van de gemeente. De uitdaging zit erin om ervoor te zorgen dat dit overzicht ook daadwerkelijk inzicht biedt, zodat de indicatoren door de raad gebruikt kunnen worden als een instrument dat bijdraagt aan grip op een beleidsveld. 

We hebben eerder onderzoek naar indicatoren gedaan.  In het meest recente onderzoek - Bruikbaarheid van indicatoren - concludeerden we dat de onderzochte indicatoren onvoldoende bruikbaar waren.  Het college beloofde verbetering. In de begroting van 2022 staat: “We sturen op verbetering van de doelenboom bij het opstellen van de planning- & controlproducten, met inachtneming van de aanbevelingen die de rekenkamer in 2020 heeft gedaan in het onderzoek naar bruikbaarheid van de indicatoren.”

Bruikbare indicatoren maken het mogelijk om ontwikkelingen in belangrijke beleidsvelden te volgen. Een van de beleidsvelden is het antidiscriminatiebeleid van de gemeente. De gemeente geeft aan dat dit beleidsterrein complex is. Ook is het volgens de gemeente ingewikkeld om op dit terrein de inspanningen aan resultaten te koppelen, omdat het gaat om grote maatschappelijke ontwikkelingen waar vele factoren invloed op hebben. Ondanks dat de gemeente dit als een lastige opgave ziet, benoemt ze dat het van belang is om in kaart te brengen wat de beleidsdoelen zijn en hoe deze gerealiseerd gaan worden. 

Discriminatie in de stad en de inzet van het Amsterdamse college

Het aandeel Amsterdammers dat zich weleens gediscrimineerd voelt, ligt al jaren op of rond de 13%, blijkt uit de OIS Veiligheidsmonitor.  Dit betreft gevallen van bijvoorbeeld anti-zwart racisme, geweld tegen lhbtiq+’ers en vrouwen, en bedreiging en uitsluiting van joodse en islamitische Amsterdammers.  Uitsluiting en discriminatie doen zich voor tussen en binnen alle gemeenschappen en zijn dus niet exclusief aan een groep toe te schrijven.  De meest voorkomende discriminatiegronden zijn huidskleur, religie en herkomst.  In de beleidsbrief Diversiteit en inclusiviteit uit 2018 noemt het college de ontwikkelingen ten aanzien van moslimdiscriminatie, antisemitisme en anti-zwart racisme zorgelijk voor de 'verbonden stad' die ze voor ogen heeft.  Daarnaast vormt arbeidsmarktdiscriminatie een obstakel voor een inclusieve stad; een kans op de arbeidsmarkt is immers van belang voor een plek in de samenleving.  Ook in het huidige coalitieakkoord Amsterdams Akkoord is er aandacht voor discriminatie en buitensluiting van mensen op de arbeidsmarkt, in het onderwijs en op straat. 

Het Amsterdamse gemeentebestuur hecht veel waarde aan het handelen tegen discriminatie. De afgelopen jaren heeft de gemeente een programma opgezet om discriminatie en racisme te bestrijden en de emancipatie van groepen die worden gediscrimineerd te bevorderen.  In de begroting van 2023 werd expliciet benoemd dat de versterkte aanpak van de vorige collegeperiode om discriminatie tegen te gaan, wordt doorgezet. In april 2023 presenteerde het college het Visiedocument Inclusie en Antidiscriminatiebeleid, waarin het uiteenzet hoe de komende jaren gewerkt gaat worden aan een inclusieve stad.  

Ook in de raad komt het thema discriminatie veelvuldig voorbij. Zo werd er een amendement ingediend om de discriminatieaanpak actiever aan te pakken.   Daarnaast besteedt de raad aandacht aan het houden van zicht op het antidiscriminatiebeleid: tijdens de bespreking van het Regenboogbeleid in 2019 was er bijvoorbeeld expliciet aandacht voor de toetsbaarheid van de indicatoren.  Rondom het beleidskader Diversiteit en Inclusiviteit uitte de raad haar zorgen over het verkrijgen van een correct en volledig beeld van discriminatie door versnippering van meldingen en over het ontbreken van structureel onderzoek naar de omvang van discriminatie. Op beide onderwerpen werd een motie aangenomen. 

Wat is het huidige diversiteitsbeleid?

Voor dit onderzoek kijken we naar het antidiscriminatiebeleid vanaf 2018 en hoe dit vertaald is naar indicatoren. De antidiscriminatieaanpak wordt onder het diversiteitbeleid geschaard. De beleidsbrief Diversiteit en inclusiviteit uit 2018 stelt dat Amsterdam al jaren een actief diversiteitsbeleid heeft dat wordt gecontinueerd. Op een aantal punten werd een scherpere focus aangekondigd “zodat Amsterdammers merken dat de discriminatie afneemt, er stappen worden gezet in betrokkenheid van burgers en meer cohesie, dat emancipatieprocessen van verschillende gemeenschappen versterkt zijn en dat ook Amsterdammers met een biculturele achtergrond zich rechtvaardig behandeld voelen en volwaardig mee kunnen doen”.  Het diversiteitsbeleid 2018-2022 is uitgewerkt langs vier lijnen: verbonden stad, gedeelde geschiedenis, antidiscriminatie en versterken emancipatie. Deze beleidslijnen lichten we in onderstaand kader kort toe. In dit onderzoek richten we ons op de beleidslijn antidiscriminatie.

Beleidslijnen diversiteitsbeleid 2018-2023

In de beleidsbrief Diversiteit en inclusiviteit uit 2018 waren de volgende vier beleidslijnen, met bijbehorende prioriteiten en activiteiten voorzien:

  1. De lijn verbonden stad moet het versterken van netwerken realiseren. De prioriteiten hier zijn: het regulier overleggen met gemeenschappen, het houden van stadsgesprekken in buurten en het realiseren en uitvoeren van het leiderschapsprogramma Ambassadeurs van Amsterdam.
  2. De lijn gedeelde geschiedenis legt een zwaarder accent op de migratiegeschiedenis, versterkt de focus op kolonialisme en de Tweede Wereldoorlog en verkent de museale voorziening slavernijverleden.
  3. De prioriteiten van de lijn antidiscriminatie zijn: de aanpak van arbeidsmarktdiscriminatie, een vernieuwd beleid Amsterdam Inclusieve Organisatie, het versterken van de rol en positie van het Meldpunt Discriminatie Regio Amsterdam (MDRA), onderzoek doen naar de mogelijkheden om de aangiftebereidheid te vergroten, het ontwikkelen van een ondersteunende campagne antidiscriminatie, het continueren van de inzet horeca en openbare ruimte en een internationale conference on tolerance.
  4. De vierde lijn, het versterken van de emancipatie, heeft als prioriteiten om de acceptatie van lhbtiq+-personen te vergoten, de positie van transpersonen te verbeteren en het lhbtiq+-beleid conform het Regenboogakkoord te continueren. Ook legt deze beleidslijn een accent op de positie van vrouwen in arbeid en zorg, legt de focus op de zelfbeschikking van vrouwen met specifieke aandacht voor mannenemancipatie en heeft als doel het opzetten van een emancipatiemonitor.

De ambtelijke organisatie gaf ons aan dat het beleid en bijbehorende activiteiten volop in ontwikkeling zijn. Voorsorterend op ontwikkelingen in 2023 zijn in 2022 de bovengenoemde vier beleidslijnen samengevoegd tot twee beleidslijnen: antidiscriminatie en emancipatie. Onlangs is voor de jaren 2023-2026 de visie van het college op inclusie en antidiscriminatie gepresenteerd en wordt in de loop van 2023 een nieuw beleidskader inclusie en antidiscriminatie verwacht. In het visiedocument formuleert de gemeente de doelstelling voor antidiscriminatie als volgt: "de gemeente Amsterdam werkt aan het aanpakken van alle vormen van discriminatie. We willen discriminatie terugdringen, zichtbaar maken en bestrijden waar het toch gebeurt."  Waar mogelijk en relevant zullen we deze recente ontwikkelingen in ons onderzoek meenemen.

Indicatoren discriminatie

Het rapporteren over discriminatie en het antidiscriminatiebeleid is niet nieuw. Voor deze rapportage wordt gebruikgemaakt van indicatoren in de begroting, maar ook van andersoortige informatie en rapportages. In dit onderzoek ligt de focus op de indicatoren van het antidiscriminatiebeleid. Deze horen bij de (oorspronkelijke) derde lijn van het diversiteitsbeleid 2018. Voor de andere lijnen zijn ook indicatoren geformuleerd. Deze laten we in dit onderzoek buiten beschouwing. In de doelenboom behorende bij de Begroting 2023 zijn een doelindicator en twee activiteitindicatoren met betrekking tot het antidiscriminatiebeleid opgenomen. De doelindicator geeft inzicht in wat de gemeente wil bereiken ten aanzien van een bepaalde maatschappelijke opgave. De activiteitenindicatoren geven inzicht in wat de gemeente gaat doen om deze doelen te realiseren.  In onderstaand kader staan de doel- en activiteitindicatoren. Indicatoren zijn meestal niet de enige informatie die naar de raad gaat. Rondom het diversiteitsbeleid wordt de raad ook op de hoogte gehouden via onder andere voortgangsbrieven. 

Doel- en activiteitindicatoren discriminatie uit de doelenboom Begroting 2023

In de doelenboom van de Begroting 2023 wordt onderscheid gemaakt tussen doel- en activiteitindicatoren van het antidiscriminatiebeleid.

Bij het doel ‘Discriminatie in Amsterdam neemt af’ hoort de doelindicator:

  • percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld (bron: Veiligheidsmonitor).

Als activiteit wordt bij dit doel benoemd: “We verhogen de meldingsbereidheid bij discriminatie”. De bijhorende activiteitindicatoren zijn:

  • het aantal meldingen over discriminatie (bron: MDRA);
  • het aantal meldingen arbeidsdiscriminatie (bron: MDRA).

Doelstelling, onderzoeksvragen en aanpak

Doelstelling

Discriminatie is volgens het college een belangrijk onderwerp. In dit onderzoek kijken we met een beperkte scope naar een belangrijk element binnen de informatievoorziening en verantwoording over het discriminatiebeleid; namelijk de indicatoren van het huidige antidiscriminatiebeleid. De indicatoren zijn een middel voor de raad om grip te krijgen op het beleid, doordat ze inzicht geven in de uitvoering ervan. Het doel van dit onderzoek is om te kijken of de indicatoren vanaf 2019 hiervoor toereikend zijn. Met dit onderzoek willen we bijdragen aan het compact en zinvol rapporteren over complexe en veranderlijke onderwerpen zoals discriminatie en het antidiscriminatiebeleid.

Onderzoeksvraag

De onderzoeksvraag die we in dit onderzoek beantwoorden, is:

Dragen de indicatoren van het antidiscriminatiebeleid bij aan grip van de raad op het beleidsveld?

Deze vraag beantwoorden we aan de hand van twee deelvragen:

  1. Zijn de begrotingsindicatoren bruikbaar voor het creëren van inzicht?
  2. Wat heeft de raad aan (voortgangs)informatie nodig om zijn controlerende taak op het antidiscriminatiebeleid uit te voeren en voorzien de indicatoren daarin?
Aanpak

Het doel van de eerste deelvraag is om een gedetailleerd beeld te vormen over de opbouw en informatiewaarde van de indicatoren, in relatie tot het antidiscriminatiebeleid. Met de tweede deelvraag willen we in kaart brengen waar de informatiebehoefte van de raad ligt om het antidiscriminatiebeleid te kunnen volgen en de (on)mogelijkheid om daaraan te voldoen met behulp van indicatoren.

Voor de beantwoording van de eerste deelvraag hebben wij een normenkader opgesteld (zie tabel 10.1) en aan de hand daarvan de indicatoren over het antidiscriminatiebeleid (2019-2023) geanalyseerd. In het normenkader staan vier elementen die van invloed zijn op de bruikbaarheid van een indicator. We beoordelen de indicatoren over de tijd heen, zodat we - naast een oordeel per norm - ook in beeld kunnen brengen welke inspanningen de ambtelijke organisatie al heeft gepleegd en op welke elementen de indicatoren eventueel nog aanpassing behoeven. Op deze manier hopen we het leer- en ontwikkelproces rondom de indicatoren van het antidiscriminatiebeleid verder te helpen.

Per indicator hebben we toetspunten beoordeeld (kolom 2 tabel 10.1) om te komen tot een oordeel per norm. De beoordeling is door twee onderzoekers onafhankelijk van elkaar gedaan om vervolgens tot consensus te komen op elk van de toetspunten. Voor onze beoordeling hebben we de begrotingen, jaarrekeningen, de beleidsbrief Diversiteit en inclusiviteit en voortgangsbrieven gebruikt. Ook hebben we gesproken met betrokken ambtenaren van de gemeente Amsterdam, het MDRA en betrokkenen bij de Veiligheidsmonitor om meer te weten te komen over de indicatoren.

Voor de eerste norm - de formulering is goed - hebben we de indicatoren op twee toetspunten beoordeeld. Voor het eerste toetspunt zijn we nagegaan of de indicatoren een duidelijke en specifieke formulering hebben door te kijken naar de tekstuele beschrijving van de indicatoren zelf en de bijbehorende toelichting. Voor het tweede toetspunt hebben we de aanwezigheid van de kwantitatieve informatie beoordeeld door voor de jaren 2019 tot en met 2023 na te gaan of er peilwaardes, streefwaardes en realisatiewaardes aanwezig zijn in de begrotingen en jaarverslagen.

De tweede norm - de indicator is betrouwbaar - bestaat uit drie toetspunten. Voor het eerste toetspunt hebben we gekeken naar de betrouwbaarheid van de bron en of de gepresenteerde realisatiewaardes overeenkomen met die in de achterliggende bron. Voor het tweede toetspunt hebben we gekeken naar de onderbouwing van de peilwaardes omdat deze een startpunt vormen om de ontwikkeling rondom de indicator in perspectief te plaatsen. In de onderbouwing verwachten we toelichting op dit gekozen startpunt. Voor het derde toetspunt over de consistentie gaan we na in hoeverre de indicatoren door de tijd heen op dezelfde definities zijn gebaseerd en consistent zijn gemeten en berekend.

De derde norm - de indicator is relevant - hebben we beoordeeld aan de hand van twee toetspunten. We zijn nagegaan of elke indicator inzicht geeft in /iets zegt over het doel of de activiteit waaraan deze verbonden is. Ten tweede zijn we nagegaan of de activiteit die (het doel dat) met de indicator is beschreven, logisch samenhangt met het bovenliggende beleidsdoel.

Ten slotte beoordelen we bij de vierde norm of de indicatoren begrijpelijk zijn. Om dit te beoordelen, hebben we gekeken of uit de omliggende tekst duidelijk blijkt wat het belang en de betekenis van de begrotingsindicatoren zijn en of er duiding wordt gegeven rondom de ontwikkeling.

Voor elke norm geven we een oordeel over de mate waarin de indicatoren aan de norm voldoen. Dit doen we door een oordeel ‘voldoende’, ‘voldoende met ruimte tot verbetering’ en ‘onvoldoende’ te geven.

Tabel 10.1 - Normenkader met toetspunten voor deelvraag 1 
NormToetspunt
De formulering van de indicator is goed
  • de indicator is duidelijk en specifiek;
  • de indicator is voorzien van kwantitatieve informatie.
De indicator is betrouwbaar
  • de kwantitatieve informatie is betrouwbaar;
  • de keuze voor de peilwaarde is onderbouwd;
  • de invulling van de indicator is consistent.
De indicator is relevant
  • de indicator geeft een relevant inzicht in de uitgevoerde activiteit of het nagestreefde doel;
  • de indicator heeft een logische samenhang binnen de doelenboom.
De indicator is begrijpelijk
  • de indicator is adequaat toegelicht in de omliggende tekst.

Voor de beantwoording van de tweede deelvraag hebben we raads(commissie)verslagen geanalyseerd om na te gaan of en hoe indicatoren besproken worden en hoe de indicatoren gebruikt worden in de sturing op het beleidsveld. We hebben voor de periode 2018-begin 2023 gekeken naar de commissievergaderingen van de commissie KDD (tot en met februari 2022) en de commissie FKD (februari 2022-begin 2023). Met verschillende zoektermen  hebben we alle verslagen over de hele tijdsperiode systematisch doorzocht. Daarnaast hebben we de verslagen van de vergaderingen waarin jaarstukken en voortgangsbrieven waren geagendeerd in zijn geheel geanalyseerd. Daarnaast hebben wij in maart en april 2023 een oproep gedaan aan alle raadsleden van de commissie FKD om hun ervaringen en behoeftes rondom de indicatoren van het antidiscriminatiebeleid met ons te delen door het beantwoorden van vier vragen.  In totaal hebben vijf raadsleden onze vragen beantwoord. Eén raadslid hebben we face-to-face gesproken, twee raadsleden hebben we telefonisch gesproken en twee raadsleden hebben de enquête ingevuld.

Afbakening

Dit onderzoek richt zich op de indicatoren van het antidiscriminatiebeleid 2018-2023. Dit onderzoek is, als experiment, opgezet als een klein onderzoek met een kortere doorlooptijd dan voor ons gebruikelijk is. Daarom beperken we ons nadrukkelijk tot de indicatoren van het antidiscriminatiebeleid. In dit onderzoek kijken we niet naar andere elementen rondom het thema discriminatie.

In de informatieverzameling bij deelvraag 2 ligt onze focus nadrukkelijk op het soort of type (voortgangs)informatie waaraan de raad structureel behoefte heeft om te kunnen sturen op het beleid. We richten ons niet op de inhoud van de informatie, omdat die meer politiek gedreven kan zijn of ingegeven kan worden door de actualiteit.

Onderzoeksverantwoording

Dit is het bestuurlijk rapport van het onderzoek van de rekenkamer naar Indicatoren discriminatie. Dit rapport is de uitkomst van een onderzoek dat een kleine omvang kent. In dit rapport zijn de gedetailleerde onderzoeksbevindingen geïntegreerd in plaats van opgenomen in een separaat onderzoeksrapport. Volgens afspraak hebben we dit gecombineerde bestuurlijk en onderzoeksrapport openbaar gemaakt op 13 juli 2023. De werkzaamheden voor dit onderzoek zijn uitgevoerd van februari tot en met juni 2023.

Onderzoeksteam

Rekenkamer Amsterdam
DirecteurAnnelies Daalder
OnderzoekersCarolien de Blok (projectleider)
 Meike Jansen