Algoritmen
Bestuurlijk rapport

Hoe Amsterdam algoritmen beter kan toepassen

Samenvatting

Algoritmen zijn regels die een computer volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Amsterdam gebruikt veel algoritmen. Bijvoorbeeld om nummerborden te scannen voor parkeercontroles of om de WOZ-waarde van woningen te berekenen. De gemeente wil grip krijgen op algoritmen en algoritmen eerlijker en transparanter maken voor burgers. Om dit te realiseren zijn ambtenaren begin 2022 begonnen met het maken van een beheerskader – een soort handleiding – voor algoritmen. Wij hebben onderzocht of het beheerskader in orde is. En we zijn nagegaan welke lessen de gemeente kan leren uit de praktijk. We concluderen dat het beheerskader en de praktijk aandacht hebben voor veel risico’s die verantwoord toepassen van algoritmen in de weg kunnen zitten. We zien ook dat verbeteringen mogelijk en nodig zijn om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken.

Wat kan er beter aan het Amsterdamse beheerskader voor algoritmen?
Het beheerskader en de praktijk hebben nog weinig aandacht voor: 1) de eerlijkheid van algoritmen; 2) de privacybescherming van burgers; en 3) de openheid over het ontwikkelen en toepassen van algoritmen. Ook concluderen wij dat de samenhang en de kwaliteit van de onderdelen van het beheerskader beter kan. Bijvoorbeeld door te kiezen voor één definitie van het woord ‘algoritme’, zodat alle ambtenaren weten wanneer ze de handleiding voor algoritmen moeten gebruiken en weten hoe ze met risico’s moeten omgaan. Verder kan de gemeente het beheerskader concreter maken voor ambtenaren. Er is bijvoorbeeld een hulpmiddel nodig waarmee ambtenaren kunnen nagaan of het ontwikkelen van een algoritme wel haalbaar is, voordat er veel tijd en geld in wordt gestopt.

Algoritmen eerlijker maken
De gemeente wil niet dat algoritmen zonder goede reden onderscheid maken tussen burgers. De gemeente wil dus bias voorkomen. Maar de maatregelen om bias tegen te gaan, zijn weinig gebruikt. Zo heeft de gemeente nog maar bij één algoritme goed onderzocht of het algoritme eerlijk is. Daarnaast worden moeilijke beslissingen over de eerlijkheid van algoritmen nog niet genomen door het bestuur van de gemeente, terwijl dit politieke keuzes zijn.

Privacy beschermen
De gemeente wil de privacy van burgers goed beschermen als zij algoritmen gebruikt. Maar slaagt daar nog onvoldoende in. Verplichte wettelijke controles om de privacy te beschermen zijn onvoldoende uitgevoerd. Burgers zijn nog weinig persoonlijk geïnformeerd over wat de gemeente met hun gegevens doet. En de gemeente legt nog niet goed uit hoe algoritmen zijn gebruikt bij het nemen van besluiten over burgers.

Openbaarheid en transparantie over algoritmen
De gemeente wil open en transparant zijn over het gebruik van algoritmen. Ze heeft daarom een website gemaakt waar alle gemeentelijke algoritmen in moeten staan: het algoritmeregister. Amsterdam was de eerste gemeente met zo’n register. Deze website is alleen nog niet volledig. Zo staan in september 2023 nog maar 29 algoritmen op de website, terwijl er mogelijk honderden algoritmen zijn. Dat komt doordat de gemeente zelf niet goed weet welke algoritmen ze allemaal gebruikt. Hierdoor krijgen raadsleden en burgers te weinig informatie.

Onze adviezen
De gemeente wil de grip op algoritmen vergroten. Daarom adviseren we om het beheerskader verder te ontwikkelen zodat de kwaliteit verbetert. Daarnaast geven we het advies om het beheerskader vaker in de praktijk te gebruiken en daarvan te leren. De gemeente wil algoritmen ook eerlijker maken. We geven daarom concrete adviezen om de omgang met bias en de privacybescherming van burgers te verbeteren. Ten slotte wil de gemeente transparant zijn over algoritmen. We adviseren daarom om de gemeenteraad op vaste momenten te informeren, het algoritmeregister aan te vullen en om burgers persoonlijker en ruimhartig te informeren over het gebruik van algoritmen bij besluiten die hen aangaan.

Hoe reageert de gemeente op ons rapport?
De gemeente onderschrijft onze conclusies, neemt de vijf aanbevelingen over en zal voor 2024 een plan van aanpak opstellen om verder uitvoering te geven aan de aanbevelingen.

Hoofdconclusie

De centrale onderzoeksvraag luidt:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk?

Met het Amsterdamse beheerskader voor algoritmen  (januari 2022) heeft het college stappen gezet om meer grip te krijgen op algoritmen en om eerlijker en transparanter te zijn over algoritmen. Het beheerskader - dat nog in ontwikkeling is - draagt in theorie al in redelijke mate bij aan het verantwoord toepassen van algoritmen. Het beheerskader wordt echter nog weinig toegepast. Verbeteringen zijn mogelijk en noodzakelijk om de waarde van het beheerskader te vergroten, de collegedoelen te bereiken en algoritmen verantwoord toe te passen.

Op verschillende vlakken behoeft het beheerskader verdere uitwerking. Dit geldt voor de samenhang en kwaliteit van de individuele onderdelen van het beheerskader, de risicogerichte aanpak en de vraag hoe in een vroegtijdig stadium kan worden bepaald of het ontwikkelen van een algoritme haalbaar is (we gaan hier in hoofdstuk 1 op in). Daarnaast heeft het beheerskader voor een aantal thema's relatief weinig aandacht. Op drie thema's zien wij ook dat de uitvoering nog van onvoldoende niveau is, daarom besteden we in dit rapport extra aandacht aan deze thema's: de omgang met het complexe vraagstuk van bias (hoofdstuk 2), het beschermen van privacy van burgers (hoofdstuk 3) en de openbaarheid en transparantie met betrekking tot algoritmen (hoofdstuk 4).

Naast het beheerskader hebben we ook drie algoritmen onderzocht om een beeld te krijgen van de toepassing van algoritmen in de praktijk. Dat heeft verschillende lessen  opgeleverd. We noemen hier de belangrijkste. Zolang er geen eenduidige definitie van de term 'algoritme' wordt gehanteerd, zal er discussie blijven bestaan over de vraag of en wanneer het beheerskader van toepassing is. Ook blijkt het belangrijk om in een vroegtijdig stadium na te gaan of de ontwikkeling van algoritmen haalbaar is in termen van doeltreffendheid, doelmatigheid, rechtmatigheid en vanuit ethisch oogpunt. Zo kun je voorkomen dat de ontwikkeling van het algoritme strandt. Verder is onvoldoende duidelijk wanneer de betrokkenheid van het college verplicht en gewenst is. Het is van belang dat het college daadwerkelijk wordt betrokken bij besluitvorming. Dit is zeker relevant als het gaat om bias. Beslissingen over de wenselijkheid, rechtvaardigheid en de potentiële ernst van mogelijke systematische afwijkingen in of door de algoritmen zijn in de onderzochte casussen alleen op ambtelijk niveau genomen. Andere lessen zijn dat de privacy van burgers tot op heden te weinig wordt beschermd, dat beslissingen te weinig worden gedocumenteerd en dat de transparantie over algoritmen tekortschiet. De openbare algoritme- en verwerkingsregisters zijn niet volledig en burgers worden weinig geïnformeerd over het gebruik van hun gegevens. Ook worden burgers vooralsnog nauwelijks betrokken bij de ontwikkeling van algoritmen.

Deelconclusies

Het beheerskader voor algoritmen is in ontwikkeling

Samenvattend
Amsterdam heeft een beheerskader voor algoritmen ontwikkeld om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken. Het beheerskader maakt ambtenaren bewust van veel mogelijke risico's die gepaard gaan met het verantwoord toepassen van algoritmen. Het geeft hen over het algemeen een handelingsperspectief hoe ze daarmee om kunnen gaan. Maar de onduidelijke samenhang en wisselende kwaliteit van de onderdelen van het beheerskader (instrumenten) zorgen ervoor dat het huidige beheerskader te weinig praktisch toepasbaar is. Eén heldere definitie van het centrale begrip 'algoritme' ontbreekt. Daardoor ontstaat discussie of het Amsterdamse beheerskader voor algoritmen van toepassing is en of het algoritme in het algoritmeregister moet worden vermeld. De toepasbaarheid van het kader is ook beperkt doordat nog niet alle in het beheerskader aangekondigde activiteiten zijn uitgevoerd. Daardoor ontbreken handvatten die richting en houvast geven voor het afwegen, ontwikkelen en gebruiken van algoritmen. Algoritmen kunnen op dit moment maar op twee risiconiveau’s worden ingeschaald. Dat heeft mogelijk tot gevolg dat de ambtelijke organisatie werkzaamheden moeten uitvoeren die niet aansluiten bij het werkelijke risico van het algoritme. Tot slot schrijft het huidige beheerskader niet voor dat de haalbaarheid van een algoritme vroegtijdig moet worden beoordeeld, met als mogelijk gevolg dat de ontwikkeling in een laat stadium wordt stopgezet.

Amsterdam heeft aandacht voor algoritmen

Gevolg praktijk: het college zet in op maatregelen om meer grip te krijgen op algoritmen, en om deze eerlijker en transparanter te maken voor burgers.

Algoritmen zijn regels die een computer volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. De afgelopen jaren is de maatschappelijke aandacht voor algoritmen toegenomen. Op alle bestuurlijke niveaus is dit zichtbaar: bij de Europese en de nationale wetgever, de wetenschap, adviesorganen van de regering, nationale en decentrale toezichthouders en de media.

Het Amsterdamse college van B en W en de gemeenteraad hebben al enige tijd aandacht voor algoritmen. Zo heeft Amsterdam als eerste gemeente in Nederland een algoritmeregister ingevoerd (mei 2021) en is Amsterdam zich al enige tijd aan het voorbereiden op de komst van de Europese AI-verordening. Daarnaast zoekt Amsterdam internationale en nationale samenwerkingen op het gebied van digitalisering, digitale rechten en het algoritmeregister.

Het college heeft in juli 2021 aangegeven meer grip te willen krijgen op de algoritmen die de gemeente gebruikt. Ook wil het college het gebruik van algoritmen eerlijker en transparanter maken voor burgers. De ambtelijke organisatie heeft daarom het Amsterdamse beheerskader voor algoritmen ontwikkeld. Het kader is in januari 2022 vastgesteld door het gemeentelijk managementteam (GMT). Het Amsterdamse beheerskader voor algoritmen bestaat uit zeven instrumenten: 1) het algoritmeregister; 2) het governancedocument en het levenscyclusmodel; 3) contractvoorwaarden voor inkoop van algoritmen; 4) een handreiking voor bezwaarbehandelaars; 5) een mensenrechtenimpactanalyse; 6) een bias-analysemodel; en 7) interne audits. Ook heeft de ambtelijke organisatie eind 2022 een jaarplan opgesteld waarin de activiteiten voor 2023 zijn uitgewerkt. Dit plan bevat veertien activiteiten om de bewustwording over algoritmen te vergroten en kennis en vaardigheden van ambtenaren en raadsleden (verder) te ontwikkelen.

Hoewel Amsterdam goede stappen neemt om meer grip te krijgen op algoritmen en deze transparanter en eerlijker te maken, concluderen we in de rest van dit rapport dat er nog veel verbeteringen mogelijk zijn. We willen benadrukken dat het Amsterdamse beheerskader voor algoritmen in ontwikkeling is en dat Amsterdam aan het begin staat van de algoritmetransitie. We vragen aan de lezer van dit rapport om de opvolgende conclusies in dit licht te lezen.

Het beheerskader heeft aandacht voor veel relevante risico's

Gevolg praktijk: Het beheerskader maakt ambtenaren bewust van de mogelijke risico's die gepaard gaan met het verantwoord toepassen van algoritmen en geeft hen een handelingsperspectief hoe daarmee om te gaan. Risico's die nog niet zijn benoemd in het kader kunnen over het hoofd worden gezien bij de toepassing van algoritmen.

Een voorwaarde voor het verantwoord toepassen van algoritmen is dat voldoende rekening wordt gehouden met risico's op de thema's van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer. Dit geldt wanneer de inzet van een algoritme wordt overwogen en als een algoritme wordt ontwikkeld of in de praktijk wordt toegepast.

Het is positief dat het Amsterdamse beheerskader al voldoende aandacht heeft voor 49 van de 61 relevante risico's die wij hebben onderzocht.  Het onderstaande figuur toont per thema voor hoeveel relevante risico's er voldoende en beperkt aandacht is. In het Onderzoeksrapport Algoritmen gaan we uitgebreid in op de toetsing van alle risico's per thema (in paragraaf 2.3 tot en met paragraaf 2.7 van het onderzoeksrapport).

Figuur 1 - Beoordeling beheerskader: aandacht voor risico's op vijf thema's

Uit het figuur blijkt dat er nog ruimte is voor verbetering. Samengevat heeft het beheerskader nog relatief weinig aandacht voor het documenteren van belangrijke keuzes in het algoritme (sturing & verantwoording ), voor risico's omtrent bias (model & data en ethiek), dataminimalisatie en transparantie (privacy). In hoofdstuk 2 tot en met 4 van dit bestuurlijk rapport gaan wij nader in op bias, privacy en transparantie.

Samenhang onduidelijk en kwaliteit instrumenten wisselend

Gevolg praktijk: een onduidelijke samenhang en een wisselende kwaliteit van de instrumenten zorgen ervoor dat het beheerskader minder praktisch is in gebruik en minder bijdraagt aan verantwoorde toepassing van algoritmen.

Samenhang tussen instrumenten huidig beheerskader onvoldoende duidelijk
Het beheerskader bestaat uit zeven losse instrumenten. Het is niet goed toegelicht hoe deze instrumenten in samenhang gebruikt moeten (of kunnen) worden. Daarnaast is het onduidelijk wanneer het kader moet worden ingezet, in welke stappen het kader kan worden doorlopen en bij wie er om ondersteuning kan worden gevraagd. Ook is onduidelijk of er nog andere instrumenten tot het beheerskader behoren, waaronder het risico-analysemodel. Daarnaast is het niet duidelijk welke onderdelen van het beheerskader verplicht zijn, en welke onderdelen als handreiking bedoeld zijn of naar eigen inzicht kunnen worden toegepast.

Kwaliteit van de instrumenten is wisselend
Niet alle instrumenten (documenten) zijn definitief en afgerond. Zo staan delen die in de inhoudsopgave van het betreffende document genoemd worden, niet daadwerkelijk in het kader. Daarnaast bevatten de stukken op sommige plekken verouderde of incomplete informatie. In het governancedocument zijn bijvoorbeeld nog niet alle verantwoordelijkheden geregeld. Bovendien is de zelf ontwikkelde mensenrechtenimpactanalyse — een instrument uit het beheerskader — achterhaald geworden. Vanaf september 2023 maakt de ambtelijke organisatie daarom geen gebruik meer van deze analyse. Voortaan is Impact Assessment voor Mensenrechten (IAMA)  de standaard.

Gebrek aan eenduidige definitie

Gevolg praktijk: door het ontbreken van één heldere definitie ontstaat discussie over wanneer het Amsterdamse beheerskader voor algoritmen van toepassing is en of vermelding in het algoritmeregister noodzakelijk is.

Het college van B en W (december 2022) geeft aan dat er geen eenduidige definitie van de term 'algoritme' is. De ambtelijke organisatie geeft aan een eigen definitie van algoritme te hanteren, zolang de Rijksoverheid geen bruikbare en heldere definitie heeft vastgesteld. Recent (september 2023) heeft de ambtelijke organisatie aangegeven de definitie van 'algoritme' te willen vaststellen in lijn met de aankomende Europese AI-verordening.

Wij constateren echter dat Amsterdam vier verschillende definities hanteert (tot juni 2023). Hierdoor is het voor ambtenaren niet altijd duidelijk of er sprake is van een algoritme en of daarmee het Amsterdamse beheerskader voor algoritmen daarop van toepassing is.

In de praktijk zien we dat er in de ambtelijke organisatie discussies ontstaan of bijvoorbeeld bepaalde 'software', een 'tool', een Excel-bewerking, of een elektronisch formulier moeten worden gezien als een algoritme. Daardoor is er dus onduidelijk of het beheerskader voor algoritmen van toepassing is en of het algoritme moet worden opgenomen in het openbare algoritmeregister. In de ogen van sommige gesprekspartners in ons onderzoek zou een model zelfs pas een algoritme zijn als het zelflerend is, of als er sprake is van geautomatiseerde besluitvorming. Doordat het college van B en W nog niet heeft gekozen voor één definitie, bestaat er binnen de ambtelijke organisatie ruimte voor discussie over of iets een algoritme is of niet. Dit draagt niet bij aan het realiseren van de doelstelling van het college om meer grip te krijgen op algoritmen.

Aangekondigde activiteiten beheerskader deels uitgevoerd

Gevolg praktijk: doordat nog niet alle voorgenomen activiteiten zijn uitgevoerd, ontbreken handvatten die richting en houvast geven voor het afwegen, ontwikkelen en gebruiken van algoritmen.

Het beheerskader (januari 2022) beschrijft activiteiten om beter grip te krijgen op algoritmen. Een deel van deze activiteiten heeft betrekking op het opstellen en vaststellen van documenten. In juni 2023 is een deel van deze activiteiten afgerond (gerealiseerd), een ander deel is nog in uitvoering (deels gerealiseerd) en één activiteit is nog niet van de grond gekomen (niet gerealiseerd).

  • Gerealiseerd: standaard met ethische principes (de Tada-waarden); activiteiten gericht op het vergroten van bewustzijn rondom algoritmen; datastrategie met daarin afspraken over het opslaan en gebruik van data over Amsterdammers en de stad. Daarin staat onder andere dat Amsterdammers meer zeggenschap moeten krijgen over hun data.
     
  • Gedeeltelijk gerealiseerd: beleid voor het gebruik van algoritmen; standaard voor risicoanalyses; verantwoordingsstrategie en -documentatie; de referentiearchitectuur voor algoritmen.
     
  • Niet gerealiseerd: de standaarden voor technische documentatie.

Risicogerichte methode EU beperkt uitgewerkt

Gevolg praktijk: er is kans op een onjuiste risico-inschaling van een algoritme, waardoor het aantal te treffen beheersmaatregelen niet aansluit bij het werkelijke risico.

Naast een eenduidige definitie is het belangrijk dat het beheerskader voor algoritmen rekening houdt met de risico's van algoritmen om te bepalen welke waarborgen nodig zijn. Het Amsterdamse college gebruikt een risico-indeling om aanvullende eisen te stellen aan algoritmen met hogere risico's. Ook wordt de risico-indeling gebruikt om te bepalen welke algoritmen eerst in het algoritmeregister moeten worden opgenomen.

Positief is dat de Amsterdamse risico-indeling al gedeeltelijk aansluit bij de risicogerichte methode uit de aankomende Europese concept-AI-verordening.  Deze verordening beoogt een risicogerichte methode voor het categoriseren van algoritmen: van onaanvaardbaar risico (verboden), via hoog risico tot laag of minimaal risico. Amsterdam kent echter maar twee risiconiveaus: hoog risico of geen hoog risico. Hierdoor is het Amsterdamse beheerskader minder verfijnd. Het uitgangspunt van de verordening is dat voor algoritmen met een hoog risico meer regels gelden. Dat uitgangspunt zien wij ook terug in het beheerskader.

Amsterdam beschikt over een risico-analysemodel dat gebaseerd is op de Europese risicogerichte methode. Of een algoritme hoog risico is, wordt alleen bepaald door het toepassingsgebied van het algoritme.  Dit model houdt geen rekening met zaken die gevolg hebben voor de reële risico's van algoritmen voor burgers en bedrijven: bijvoorbeeld of het algoritme hun persoonsgegevens verwerkt, een hoge kans op bias heeft of dat toepassen van het algoritme mogelijk financiële gevolgen heeft voor de burger. Daardoor bestaat de kans dat Amsterdamse algoritmen ten onrechte als 'hoog risico' of als 'geen hoog risico' worden bestempeld.

Bovendien blijkt uit het risico-analysemodel niet wanneer het (opnieuw) toegepast moet worden: alleen bij het ontwikkelen van een algoritme of ook periodiek als het algoritme langere tijd in gebruik is. Verder maakt het risico-analysemodel het in theorie mogelijk om de relevante risico's systematisch langs te lopen. Het model geeft dan per risico suggesties voor mogelijk te treffen beheersmaatregelen. Maar uit het model volgt ook dat wanneer het algoritme als 'geen hoog risico' is bestempeld, het model grotendeels niet meer doorlopen hoeft te worden. Daarmee krijgt de ambtelijke organisatie geen advies over de te treffen beheersmaatregelen.

Integrale afweging van haalbaarheid vooraf ontbreekt

Gevolg praktijk: als de haalbaarheid niet vroegtijdig wordt beoordeeld, bestaat de kans dat de ontwikkeling van een algoritme in een laat stadium wordt stopgezet, terwijl er dan al veel middelen zijn besteed.

Het beheerskader schrijft niet voor dat vroegtijdig moet worden afgewogen of het ontwikkelen of inkopen van een algoritme zinvol, passend en haalbaar is. Uit gesprekken met verschillende ambtenaren blijkt dat securitytoetsen, privacy-analyses en checks op doeltreffendheid en doelmatigheid van het algoritme meestal los van elkaar plaatsvinden. In de praktijk worden essentiële 'make-or-break'-onderdelen van algoritmen soms in een laat stadium beoordeeld of geconstateerd. Terwijl er op dat moment al (veel) tijd en middelen zijn geïnvesteerd.

Uit ons casusonderzoek blijkt dat er algoritmen zijn ontwikkeld, waarbij na een lange periode van ontwikkeling naar voren komt dat het algoritme in de praktijk niet toepasbaar is. De ontwikkeling van twee van de drie door ons onderzochte algoritmen is al enkele jaren bezig of ligt stil. Bij het ene algoritme omdat de beoogde data niet verkregen zijn en bij het andere algoritme omdat nog niet duidelijk is of aan de privacywetgeving kan worden voldaan.

Omgang met bias nog niet ver genoeg ontwikkeld

Samenvattend
Biases zijn onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden. Bij bias maakt een algoritme onderscheid op beschermde gronden, terwijl dit onderscheid niet gerechtvaardigd is. Voorbeelden van beschermde gronden zijn nationaliteit, huidskleur, etniciteit, leeftijd, seksuele geaardheid, religie, gezondheid en sociale klasse. Het college wil bias bij algoritmen uitsluiten en heeft twee maatregelen aangekondigd. Die maatregelen zijn beperkt effectief. De mogelijkheden om bias volledig uit te sluiten zijn meestal beperkt omdat het onderzoek naar mogelijke bias arbeidsintensief is. Ook moeten soms meer persoonsgegevens worden verwerkt voor bias-analyse dan nodig zijn voor de juiste werking van het algoritme. En voor het onderzoek van bias moet een zeer groot aantal combinaties van persoonsgegevens worden beoordeeld. Het beheerskader laat nog veel vragen over bias onbeantwoord, waardoor het ambtenaren weinig ondersteuning biedt bij het voorkomen of uitsluiten van bias. Op dit moment neemt vooral de ambtelijke organisatie beslissingen over de vraag of een algoritme rechtvaardig is, terwijl dit bij uitstek een bestuurlijk vraagstuk betreft.

College heeft ambitie om bias volledig uit te sluiten

Gevolg praktijk: het college heeft twee maatregelen ingesteld om te voorkomen dat algoritmen ongerechtvaardigd onderscheid maken.

Het college wil bias (zie kader) bij algoritmen volledig uitsluiten (januari 2023). Het college van B en W gaf in een raadsbrief (maart 2023) aan bias op basis van zestien beschermde gronden te willen voorkomen: nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse en genetica.

Wat is bias?

In navolging van de Algemene Rekenkamer definiëren wij bias als onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden. Of systematische afwijkingen op bepaalde kenmerken onwenselijk zijn, is een lastig te beantwoorden vraag. Soms volgt dit uit regelgeving die onderscheid expliciet verbiedt, maar vaker zal dit mede bepaald worden door maatschappelijke of politieke opinies.

Twee maatregelen om bias uit te sluiten
Het college heeft in maart 2023 twee maatregelen benoemd om bias uit te sluiten:

  • Bij besluitvorming moet altijd sprake zijn van menselijke tussenkomst. Volledig geautomatiseerde besluitvorming is dus niet toegestaan. Gebruikmaken van informatie of adviezen uit een algoritme mag wel.
  • Vóór ingebruikname van het algoritme moet een bias-analyse worden uitgevoerd.

Collegemaatregelen om bias te voorkomen beperkt effectief

Gevolg praktijk: de twee collegemaatregelen kunnen bias niet volledig uitsluiten. Hierdoor kan het college nog weinig zekerheid geven over in hoeverre bias wordt voorkomen.

Menselijke tussenkomst sluit bias niet volledig uit
Het college ziet menselijke tussenkomst bij besluitvorming als belangrijkste maatregel om bias uit te sluiten (maart 2023). Het algoritme neemt dan zelf geen besluit, maar geeft informatie (bijvoorbeeld in de vorm een advies) die de ambtenaar betrekt bij het nemen van het besluit. Een dergelijke maatregel draagt bij aan het verminderen van de bias, maar kan bias nooit volledig uitsluiten. Mensen hebben immers vaak de neiging om technologie te zien als objectief en vrij van oordelen. Dat maakt ze bereid om erop te vertrouwen, zelfs als ze niet volledig begrijpen hoe de technologie werkt (automatiseringsbias). Daarnaast zal ook menselijke bias bij niet-geautomatiseerde besluitvorming een rol blijven spelen. Het is namelijk mogelijk dat ambtenaren - vanwege gebrek aan tijd of expertise, of vanwege ingesleten systematische afwijkingen in gedrag of historische informatie - de informatie die voortkomt uit een algoritme overnemen zonder deze kritisch te beoordelen op een mogelijke bias.

Hoewel het college stelt dat volledige geautomatiseerde besluitvorming niet is toegestaan, hebben wij geconstateerd dat bij ten minste één Amsterdams algoritme daarvan wél sprake is. We weten niet bij hoeveel andere Amsterdamse algoritmen dit het geval is.

Bias-analyses zijn nog niet vaak uitgevoerd
Als tweede maatregel benoemt het college het uitvoeren van verplichte bias-analyse. Dit is nog maar bij één algoritme uitgevoerd (stand juni 2023). Zolang de gemeente geen uitvoering geeft aan deze maatregel zal het college burgers nog weinig informatie en zekerheid kunnen verschaffen over mogelijk ongerechtvaardigd onderscheid als gevolg van Amsterdamse algoritmen.

Het constateren van bias op alle beschermde gronden is zeer complex

Gevolg praktijk: het is de vraag of bias wel volledig is uit te sluiten bij algoritmen die worden gebruikt bij beslissingen die personen raken.

Hoewel de bestuurlijke ambitie bestaat om bias volledig uit te sluiten, zijn de mogelijkheden om bias te constateren meestal beperkt. Het is bovendien zeer complex. Het is daarom de vraag of de ambitie van het college realistisch is. Wij zien drie oorzaken waarom de mogelijkheden voor het constateren van bias beperkt zijn:

Het onderzoeken van bias is arbeidsintensief
Het college wil bias uitsluiten op zestien beschermde gronden. Het onderzoeken van bias vraagt om veel middelen van de organisatie. Per beschermde grond moet namelijk worden nagegaan of er sprake is van systematische afwijkingen, en zo ja, of het gemaakte onderscheid gerechtvaardigd is (zie kader). Bovendien geldt dat hoe meer beschermde gronden worden onderzocht, hoe meer (doorloop)tijd en geld ermee gemoeid is om met voldoende zekerheid aan te tonen dat het algoritme geen ongerechtvaardigd onderscheid maakt. Hierdoor kunnen de kosten voor het uitsluiten van bias zodanig oplopen dat deze niet meer in verhouding staan tot de opbrengsten van het algoritme.

Wanneer is er sprake van een ongerechtvaardigd onderscheid?

Het college maakt regelmatig onderscheid op basis van de beschermde gronden. Denk aan beleid gericht op het helpen van jongeren, ouderen, statushouders of mensen die leven in armoede. Is hier dan ook sprake van bias? Vaak niet: er is onderscheid op basis van een beschermde grond, maar dat onderscheid is gerechtvaardigd. Volgens Gerards (2017) is het sinds 1968 vaste rechtspraak dat een ongelijke behandeling toelaatbaar is "wanneer daarmee een gerechtvaardigd doel wordt nagestreefd en er een redelijke of proportionele verhouding bestaat tussen dit doel en het gemaakte onderscheid".  Systematische afwijkingen in beleid, data en algoritmen kunnen in sommige gevallen dus gerechtvaardigd zijn. Of een onderscheid gerechtvaardigd is, is een juridisch en ethisch complex vraagstuk waarbij het antwoord per casus zal verschillen. Wel is duidelijk dat onderscheid maken op basis van beschermde gronden niet zomaar mag. Als het college ervoor kiest om dit te doen, moet het deze keuze zorgvuldig rechtvaardigen, bijvoorbeeld met morele argumenten en geverifieerde kennis.

Paradox: uitsluiten van bias vraagt om verwerking van zeer veel persoonsgegevens die niet nodig zijn voor de werking van het algoritme
Om bias te onderzoeken en te kunnen uitsluiten is het nodig om (gevoelige) persoonsgegevens te verwerken, terwijl deze gegevens voor een goede werking van het algoritme niet altijd nodig zijn. Het is daarom de vraag of het (op grote schaal) verwerken van (gevoelige) persoonsgegevens wenselijk is en of het haalbaar is in verband met privacywetgeving.  Daarnaast geeft het college aan dat veel gegevens uit de lijst met zestien van beschermde gronden niet door de gemeente worden verwerkt. We vragen ons daarom af of het college wel in staat is om adequaat te controleren op bias. Uit de enige bias-analyse die tot juni 2023 is uitgevoerd , blijkt dat slechts vier van de zestien  beschermde gronden direct zijn getoetst op bias. Hoewel voor deze kenmerken is geconstateerd dat er geen sprake is van bias, is bias op andere relevante kenmerken niet uitgesloten. Het is de vraag of deze beperkte toetsing het gemeentebestuur en de burgers voldoende zekerheid geeft dat bias is uitgesloten.

Combinatie van persoonsgegevens kan leiden tot bias
Een zeer complicerende factor is het fenomeen van intersectionaliteit. Dit houdt volgens Van der Sloot et al. (2021) in dat ook combinatie(s) van (persoons)kenmerken kunnen leiden tot bias, achterstelling en discriminatie.  Dit betekent dat voor volledige uitsluiting van bias algoritmen niet alleen onderzocht moeten worden op een relatief overzichtelijke lijst van beschermde gronden, maar ook op alle mogelijke combinaties van deze beschermde gronden. 

Het beheerskader laat veel vragen over bias onbeantwoord

Gevolg praktijk: het beheerskader biedt ambtenaren weinig ondersteuning bij het voorkomen of uitsluiten van bias.

Het is niet duidelijk wanneer een bias-analyse moet worden uitgevoerd
Over het moment waarop de bias-analyse moet worden uitgevoerd, geeft het beheerskader geen informatie. Het college heeft de raad laten weten dat een bias-analyse wordt uitgevoerd vóórdat het algoritme in gebruik wordt genomen. Maar op welk moment is dat? Aan het begin van de ontwikkeling van het algoritme of net voordat het in gebruik wordt genomen?

Daarnaast maakt het beheerskader niet duidelijk of de bias-analyses periodiek opnieuw moeten worden uitgevoerd. Algoritmen met een hoog risico op bias worden daardoor niet periodiek kritisch geëvalueerd. In de periodes tussen evaluaties kunnen veranderingen plaatsvinden aan het algoritme en aan de context van het algoritme die van invloed zijn op het oordeel over het algoritme. Zo kunnen de doelpopulatie, het algoritme zelf , de maatschappelijke tolerantie voor mogelijke biases in algoritmen en de wetgeving veranderen.

De kwaliteit van de bias-analyses is onzeker
We maken ons zorgen over de kwaliteit van de bias-analyses die gemaakt zullen worden. Het beheerskader laat de ambtelijke organisatie namelijk vrij om te beslissen welke standaard zij hanteert voor het onderzoeken en analyseren van bias. Hierdoor is er van alles mogelijk: een kwalitatieve analyse van beslisregels, het uitvoeren van de eigen Kunstmatige Intelligentie Impact Assessment , het uitvoeren van de Impact Assessment Mensenrechten en Algoritmes (IAMA), of alles daartussen. Het kader beantwoordt niet de vraag in hoeverre (met welke mate van zekerheid) het college verwacht dat bias wordt uitgesloten. Welke mate van zekerheid wordt nagestreefd zal dus naar onze verwachting per casus verschillen. Ook heeft het beheerskader weinig aandacht voor het toetsen van de rechtvaardigheid van eventuele systematische afwijkingen die bij een algoritme worden aangetroffen en wanneer het wenselijk is om het college hierbij te betrekken, (zie paragraaf 2.5). Het bias-analysemodel uit het beheerskader geeft alleen aan dat er moet worden nagedacht over de aanvaardbaarheid van geconstateerde systematische afwijkingen, maar geeft hiervoor geen concrete handvatten.

Er is niet geregeld wie bij de bias-analyse betrokken moeten zijn
In het beheerskader is niet geregeld wie betrokken moeten worden bij de bias-analyse. In algemene zin noemt het kader "mensen vanuit verschillende rollen en achtergronden". Het kader wijst op betrokkenheid van verschillende interne stakeholders en eindgebruikers van het algoritme in het ontwikkelingsproces. Voor het betrekken van belanghebbenden (zoals inwoners) heeft het kader geen aandacht. Dat valt op, omdat juist deze belanghebbenden veelal de gevolgen van een algoritme zullen ondervinden.

De rechtvaardigheid van algoritmen wordt vooral ambtelijk afgewogen

Gevolg praktijk: hierdoor kan het college nog weinig standpunten innemen over de rechtvaardigheid van algoritmen.

Er is een tekort aan bestuurlijke betrokkenheid bij algoritmen waarbij bias een reëel risico is. Dit heeft gedeeltelijk te maken met het feit dat in het beheerskader onvoldoende is geregeld wanneer het college betrokken moet worden bij beslissingen over algoritmen. De ambtelijke organisatie is geneigd om het college te vragen naar het 'wat' en regelt in de uitvoering zelf het 'hoe'. Veel beslissingen rondom algoritmen, waaronder die over bias, worden daardoor niet aan het college voorgelegd. Het college wordt daarmee ook niet gevraagd om een standpunt in te nemen over de wenselijkheid, rechtvaardigheid en de potentiële ernst van mogelijke systematische afwijkingen in of door de algoritmen.

Het Amsterdamse beheerskader voor algoritmen bevat het voorschrift dat de vakportefeuillehouders verantwoordelijk zijn voor de betrouwbaarheid van de algoritmen die binnen hun portefeuille worden toegepast. Zij moeten algoritmen met een hoog risico ter besluitvorming aan het college voorleggen. Het college was slechts bij de besluitvorming van één van de acht algoritmen met een hoog risico betrokken (stand juni 2023). Uit ons casusonderzoek blijkt dat de ambtelijke organisatie vrijwel alle belangrijke besluiten over het algoritme gedurende de levenscyclus van het algoritme heeft genomen zonder het college erbij te betrekken.

Privacy van burgers bij algoritmen nog onvoldoende beschermd

Samenvattend
Het college hecht veel waarde aan zorgvuldige verwerking van persoonsgegevens. Tegelijkertijd is de privacy van burgers met betrekking tot algoritmen nog niet goed beschermd. Het beheerskader besteedt aandacht aan zeven van de dertien onderzochte privacyrisico’s en bijbehorende maatregelen om de privacyrisico’s te verminderen. Zo is de gemeente verplicht om na te gaan of zij het recht heeft om persoonsgegevens te verwerken. Ook moet de gemeente algoritmen die persoonsgegevens verwerken in het verwerkingsregister registreren en moet zij duidelijke afspraken maken met de leveranciers van algoritmen over verwerking van persoonsgegevens. In de praktijk is er wisselend uitvoering gegeven aan deze maatregelen. Het beheerskader heeft te weinig aandacht voor het informeren van burgers. Zij krijgen daardoor geen goed zicht op algoritmen die hun persoonsgegevens verwerken en hoe het algoritme van invloed is geweest op een genomen besluit.

College wil de privacy van burgers beschermen

Gevolg praktijk: het college is aanspreekbaar op de bescherming van privacy.

Het college geeft aan veel waarde te hechten aan een zorgvuldige verwerking van persoonsgegevens en hanteert daarbij de volgende uitgangspunten: iedereen in Amsterdam weet waar hij of zij aan toe is; de burger heeft zeggenschap over zijn persoonsgegevens; de toegang tot gegevens is zo makkelijk mogelijk en de gemeente informeert burgers actief, zodat bekend is welke informatie de gemeente over hem heeft. Alleen na besluitvorming door het college of de burgemeester kan worden afgeweken van deze uitgangspunten, zodat voor Amsterdammers en de gemeenteraad transparant is hoe de gemeente omgaat met persoonsgegevens.  Deze uitgangspunten hangen samen met de wens van het college om algoritmen eerlijker en transparanter te maken voor burgers.

Beheerskader heeft deels aandacht voor privacyrisico's

Gevolg praktijk: Het beheerskader besteedt aandacht aan een deel van de privacyrisico's die wij hebben onderzocht. Aan de beheersmaatregelen om deze risico's te verminderen, is in de praktijk wisselend uitvoering gegeven.

De verplichting om de privacy van burgers te beschermen, ook bij het gebruik van algoritmen, komt voort uit de Algemene Verordening Gegevensbescherming (AVG). De AVG is in mei 2018 in werking getreden, maar Amsterdam worstelt nog steeds met de uitvoering daarvan. Het Amsterdamse beheerskader voor algoritmen heeft voor zeven van de dertien getoetste privacyrisico's voldoende aandacht.

Voor zes privacyrisico's heeft het beheerskader nog te weinig aandacht. Het beheerskader heeft nog geen aandacht voor de onderwerpen subsidiariteit en proportionaliteit ('dataminimalisatie').  Het merendeel van de privacyrisico's waarvoor nog te weinig aandacht is, heeft betrekking op de communicatie van de gemeente naar burgers over het gebruik van hun persoonsgegevens (zie uitgebreid paragraaf 3.3).

We lichten hieronder drie risico's toe waarvoor het beheerskader voldoende aandacht heeft, maar waaraan de gemeente in de praktijk wisselend uitvoering geeft.

Het openbare verwerkingsregister bevat nog nauwelijks algoritmen
Het beheerskader heeft aandacht voor de vraag welk recht ('wettelijke grondslag') de gemeente heeft om de gegevens van inwoners ('persoonsgegevens') te verzamelen en te gebruiken voor algoritmen ('verwerken'). Ook blijkt uit het beheerskader dat het algoritme geregistreerd moet worden in het openbare verwerkingsregister als het algoritme persoonsgegevens verwerkt. 

In de praktijk is nog nauwelijks uitvoering gegeven aan de verplichting om algoritmen die persoonsgegevens verwerken te registreren in het verwerkingsregister. De openbare versie van het gemeentelijke verwerkingsregister (stand maart 2023) bevat slechts informatie over één algoritme, het algoritme Public Eye. Bij de start van ons casusonderzoek van drie algoritmen stonden deze algoritmen niet in het gemeentelijke verwerkingsregister, terwijl ze wel persoonsgegevens verwerkten.

Afspraken maken met derden over verwerking persoonsgegevens gaat nog niet altijd zoals gewenst
Het beheerskader heeft aandacht voor de vraag hoe de gemeente moet handelen als een andere partij de persoonsgegevens voor de gemeente verwerkt. De gemeente blijft dan wel verantwoordelijk. Om dit goed te regelen heeft Amsterdam een standaard verwerkersovereenkomst, waarin afspraken over het verwerken van persoonsgegevens zijn vastgelegd.

Uit het casusonderzoek blijkt dat de gemeente met twee leveranciers een verwerkersovereenkomst overeen is gekomen, omdat deze leveranciers het algoritme hebben ontwikkeld. Bij één algoritme uit het casusonderzoek is niet de Amsterdamse standaard verwerkersovereenkomst gebruikt, maar die van de externe partij. Daarvan is niet vastgesteld of deze overeenkomt met de Amsterdamse standaard. Hiermee verliest Amsterdam controle over het naleven van wettelijke standaarden voor het verwerken van persoonsgegevens.

Sinds september 2023 meer ondersteuning bij het maken van Data Protection Impact Assessments
Het beheerskader geeft aan wanneer een Data Protection Impact Assessment (DPIA)  moet worden uitgevoerd. De DPIA moet in een vroegtijdig stadium worden uitgevoerd om vooraf privacyrisico's in kaart kunnen brengen. Amsterdam heeft een sjabloon-DPIA ontwikkeld die ambtenaren ondersteunt bij het maken van de DPIA. Tot september 2023 bevatte de sjabloon-DPIA wel alle relevante aspecten die bij een DPIA aan de orde moeten komen, maar gaf de sjabloon-DPIA nog weinig uitleg bij ingewikkelde termen uit de AVG.  Hierdoor begrepen ambtenaren die met de sjabloon-DPIA werkten niet altijd goed wat er in de DPIA gevraagd werd en werden risico's en maatregelen verkeerd ingeschat. In september 2023 is de sjabloon-DPIA aangevuld met meer uitleg.

Uit het casusonderzoek blijkt dat voor één algoritme tijdig is gestart met het opstellen van een DPIA. Voor de overige twee algoritmen is pas gestart met het opstellen van een DPIA nadat het algoritme al persoonsgegevens verwerkte.

Burgers beperkt geïnformeerd over het gebruik van hun persoonsgegevens

Gevolg praktijk: burgers ontvangen niet alle informatie waarop zij recht hebben. Dat bemoeilijkt het aanvechten van beslissingen die met behulp van algoritmen over hen zijn genomen.

Het beheerskader schenkt te beperkt aandacht aan maatregelen om burgers te informeren over het gebruik van hun persoonsgegevens door algoritmen. Dit geldt voor het informeren van de burger als die daarover zelf vragen stelt aan de gemeente, of wanneer iemand een (Woo-)verzoek  indient. Het geldt ook voor het uit eigen beweging informeren van de burger door de gemeente. Hierna lichten we toe dat de gemeente burgers nog te weinig uit eigen beweging persoonlijk informeert en dat besluiten geen informatie bevatten over (de rol van) het algoritme. Daarna lichten we toe dat de ambtelijke organisatie er lange tijd niet op is geattendeerd dat burgers moeten worden geïnformeerd als er sprake is van profilering.

Amsterdam informeert nog weinig uit eigen beweging
De gemeente kan de burger op twee manieren uit eigen beweging informeren. Ten eerste via algemene informatie die zij kunnen raadplegen via de gemeentelijke websites. Burgers kunnen via deze weg zelf nagaan welke algoritmen Amsterdam heeft en welke persoonsgegevens deze algoritmen verwerken. Mogelijke bronnen daarvoor zijn het algoritmeregister, het verwerkingsregister, het stedelijk privacybeleid en de privacyverklaringen over specifieke processen. In de praktijk zijn deze bronnen weinig informatief. Het algoritmeregister is nog niet volledig (zie paragraaf 4.3) en het verwerkingsregister bevatte in maart 2023 slechts één algoritme (zie paragraaf 3.2). Het stedelijk privacybeleid heeft geen aandacht voor het gebruik van persoonsgegevens door algoritmen. Ten slotte blijkt uit het casusonderzoek dat de privacyverklaringen lang niet altijd toereikend zijn: slechts een van de drie privacyverklaringen geeft informatie over het algoritme.

Daarnaast kan de gemeente burgers persoonlijk informeren dat hun gegevens zijn gebruikt door een algoritme. Dat kan bijvoorbeeld bij het verlenen van een vergunning of het toekennen van een uitkering. Uit het casusonderzoek blijkt dat de gemeente nog niet op deze wijze informeert.

Nog weinig aandacht voor het informeren van burgers bij besluiten
Gegeven de doelstelling van het college van B en W om algoritmen eerlijker en transparanter te maken voor haar inwoners en met het oog op recente ontwikkelingen in het recht, ligt het voor de hand om ook in oorspronkelijke besluiten ('primaire besluiten') open en eerlijk te zijn over algoritmen, ook als algoritmen ambtenaren slechts ondersteunen of adviseren bij het nemen van een besluit (zie kader voor verdere uitleg). Dat gebeurt echter op dit moment niet.

Waarom open zijn over het gebruik van algoritmen in besluiten?

We constateren dat de kwaliteit van de motivering van het primaire besluit steeds belangrijker wordt geacht door rechtswetenschappers en de rechtsspraak. Zo vindt het College voor de Rechten van de Mens dat in het besluit vermeld moet zijn als er een algoritme is gebruikt. Ook moet het besluit een uitleg bevatten van het algoritme waarmee de inhoud van het besluit logisch te reconstrueren is. Als deze reconstructie niet mogelijk is, dan voldoet het besluit niet aan het motiveringsbeginsel.

Bij geautomatiseerde besluitvorming (dus zonder menselijke tussenkomst) stellen de AVG en de rechtspraak expliciet aanvullende eisen. De gemeente is in dat geval verplicht om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken. Dat moet gebeuren op een passende wijze zodat deze keuzes, gegevens en aannames voor de burger toegankelijk zijn. Ook moet de gemeente burgers de mogelijkheid bieden om een niet-geautomatiseerd besluit te krijgen.

Het beheerskader bevat geen instructie om al open te zijn over (de rol van) het algoritme in het primaire besluit. Uit het casusonderzoek blijkt dat er geen aandacht is voor communicatie over algoritmen in besluiten. Bij één van de drie onderzochte algoritmen werden besluiten genomen waarbij ambtenaren gebruik konden maken van het advies van het algoritme. In deze besluiten is geen aandacht besteed aan (de rol van) het algoritme. Besluiten zijn hierdoor niet goed te reconstrueren.

Positief is dat het beheerskader wel een handreiking voor bezwaarbehandelaars bevat. Die handreiking roept bezwaarbehandelaars op om in de beslissing op bezwaar open te zijn over (de rol) van het algoritme bij het primaire besluit. In juni 2023 bevat geen enkele beslissing op bezwaar informatie over het gebruik van een algoritme bij de besluitvorming. De handreiking is daarmee nog niet toegepast.

Burgers niet geïnformeerd bij profilering in de zin van de AVG
Is er sprake van profilering  in de zin van de AVG, dan is de gemeente verplicht de betreffende persoon te informeren over de inhoud van het profiel en welke gegevens er zijn gebruikt om het profiel op te bouwen. Ook moet de gemeente aangeven of het profiel is betrokken bij besluitvorming en vermelden dat het mogelijk is tegen het profiel bezwaar te maken. De gemeente moet de burger informeren over het belang van het algoritme, de onderliggende logica van het algoritme en de mogelijke (persoonlijke) gevolgen van het algoritme van de burger. Deze informatie biedt de mogelijkheid om de besluitvorming en de handelingen van de gemeente te doorgronden en daartegen op te komen. Voor deze plichten heeft het beheerskader geen aandacht. Vanaf september 2023 bevat de DPIA wel de algemene instructie om burgers te informeren over profilering.

Uit het casusonderzoek blijkt dat de gemeente niet heeft onderkend dat er sprake was van profilering. Burgers zijn (daarom) niet over de profilering geïnformeerd.

De gewenste openbaarheid en transparantie worden in beperkte mate bereikt

Samenvattend
Het Amsterdamse college wil open en transparant zijn over algoritmen. Dat lukt nog niet goed doordat het college en de ambtelijke organisatie geen goed beeld hebben van alle algoritmen die Amsterdam gebruikt. Het openbare algoritmeregister is nog niet volledig. Voor de algoritmen die wel in het register staan, is de informatiewaarde van wisselende kwaliteit. Hierdoor krijgen burgers nog weinig informatie over algoritmen. Ook is de informatievoorziening aan de gemeenteraad over algoritmen nog beperkt.

Amsterdam spreekt de intentie uit om open en transparant te zijn

Gevolg praktijk: Amsterdam wil burgers, leveranciers en ketenpartners informeren over de manier waarop de gemeente met algoritmen omgaat en wil zo veel mogelijk informatie over Amsterdamse algoritmen openbaar maken.

Het college wil eerlijker en transparanter zijn over algoritmen en wil met het algoritmeregister transparantie bieden over het gebruik van algoritmen en de participatie van burgers bevorderen. Eén van de doelen van het Amsterdamse beheerskader voor algoritmen is het bieden van "houvast en transparantie aan Amsterdammers, leveranciers en ketenpartners over de manier waarop de gemeente Amsterdam met algoritmen omgaat". Ook schrijft het beheerskader voor dat alle informatie over Amsterdamse algoritmen openbaar is - inclusief de broncode van zelfontwikkelde algoritmen - tenzij er wettelijk gegronde redenen zijn om informatie niet openbaar te maken.

College heeft nog weinig zicht op algoritmen

Gevolg praktijk: doordat de ambtelijke organisatie en daarmee het college nog maar beperkt zicht hebben op de algoritmen die Amsterdam toepast, kan het college nog maar beperkt open en transparant zijn over algoritmen.

Het college en de ambtelijke organisatie weten niet hoeveel algoritmen de gemeente Amsterdam en aan haar verbonden partijen gebruiken. Schattingen van ambtenaren waarmee wij hebben gesproken, lopen uiteen van enkele honderden tot misschien wel duizenden algoritmen. Het inventariseren van algoritmen verloopt moeizaam. Bij de start van ons onderzoek (september 2022) had de ambtelijke organisatie een beperkte inventarisatie gemaakt van algoritmen. Op ons verzoek is daarna een verdere inventarisatie gestart. Deze inventarisatie (oktober 2022 tot en met april 2023) heeft informatie opgeleverd over 92 mogelijke algoritmen. Los van deze inventarisatie gaf het college in een raadsbrief (december 2022) aan dat het “herkennen van (risicovolle) algoritmen in bestaande systemen” lastig is. In juni 2023 beschikt de gemeente nog niet over een centraal overzicht van algoritmen. Wel is het zicht op algoritmen enigszins verbeterd.

Het gebrekkige zicht op algoritmen belemmert het college om beter grip te krijgen op algoritmen en om transparant te zijn over algoritmen. Het is immers niet mogelijk om open en transparant te zijn over zaken waar men zelf geen weet van heeft. Tegelijk zorgen de onduidelijkheid over wat een algoritme is (zie ook paragraaf 1.4) en het soms negatieve sentiment rondom algoritmen ervoor dat de ambtelijke organisatie niet altijd signaleert dat er sprake is van een algoritme uit angst voor nadelige gevolgen.

Het algoritmeregister is niet volledig

Gevolg praktijk: raadsleden en burgers krijgen geen goed zicht op de algoritmen die in Amsterdam worden gebruikt.

Amsterdam heeft in mei 2021 op eigen initiatief het Amsterdamse algoritmeregister gepubliceerd met daarin vijf algoritmen. Daarmee liep Amsterdam voor op andere steden en op het algoritmeregister van de Rijksoverheid, dat in december 2022 online verscheen.

Amsterdam heeft de intentie om elk algoritme dat de gemeente gebruikt in het algoritmeregister te publiceren. Begin 2022 deed de Functionaris Gegevensbescherming de aanbeveling om het register verder te vullen. Op dat moment bevatte het algoritmeregister zes algoritmen. Pas vanaf januari 2023 zijn meer algoritmen geregistreerd (zie figuur 2). De informatiewaarde van het register was daardoor lange tijd beperkt. In september 2023 zijn 29 algoritmen geregistreerd. Het zicht voor burgers en raadsleden op de Amsterdamse algoritmen is daarmee iets verbeterd ten opzichte van de situatie van mei 2021. Er ontbreken echter nog veel algoritmen in het register (zie paragraaf 4.2).

Figuur 2 - Ontwikkeling aantal algoritmen in Amsterdams algoritmeregister

Bron: Rekenkamer Amsterdam (stand 21 september 2023).

Voor de algoritmen die wel in het algoritmeregister staan, is de informatiewaarde per algoritme van wisselende kwaliteit, waardoor het register ook op dat punt niet volledig is. Het register beantwoordt niet de vraag of de inzet van een algoritme gerechtvaardigd is. Er is geen informatie over participatie van burgers en betrokken doelgroepen bij de ontwikkeling van een algoritme. Het register bevat daarnaast weinig broncodes van algoritmen en de onderliggende documentatie van een algoritme wordt tot op heden niet standaard openbaar gemaakt.

Doordat er geen openbare informatie beschikbaar is over alle algoritmen in het algoritmeregister en het verwerkingsregister, voldoet Amsterdam niet aan de eisen die het zichzelf oplegt en de wettelijke transparantie-eisen voor de verwerking van persoonsgegevens. We hebben drie achterliggende oorzaken geïdentificeerd voor de onvolledigheid van het Amsterdamse algoritmeregister (zie onderstaand kader).

Drie oorzaken waarom het algoritmeregister onvolledig is

Het college heeft geen goed zicht en daarmee geen goede grip heeft op alle Amsterdamse algoritmen (zie paragraaf 4.2).

Het kost de ambtelijke organisatie veel tijd om algoritmen te registreren doordat interne en externe afstemming moet plaatsvinden. Naast tekstuele afstemming gaat het ook om discussies over de vraag of er wel sprake is van een algoritme.

Vóór juni 2023 werden algoritmen alleen openbaar gepubliceerd in het register als de vereiste beschrijving compleet was. In het proces om een algoritme in het register op te nemen, ontdekte de ambtelijke organisatie soms dat er bijvoorbeeld nog geen privacyverklaring voor het algoritme bestond. Ook kwam het voor dat andere 'checks' nog moesten worden uitgevoerd, zoals het vaststellen dat er een wettelijke grondslag is voor de verwerking van persoonsgegevens. De ambtelijke organisatie koos er dan voor om eerst alle checks en achterliggende documentatie compleet te maken en dan pas het algoritme te publiceren in het register. Juni 2023 is deze aanpak aangepast en nu worden ook algoritmen gepubliceerd waarvan de beschrijving nog niet compleet is. Ook staan sinds augustus 2023 algoritmen in het register die in ontwikkeling zijn en vermeldingen als een algoritme niet langer in gebruik is. Dat is een positieve ontwikkeling.

Informatievoorziening aan de raad met name reactief

Gevolg praktijk: de gemeenteraad kan hierdoor zijn kaderstellende en controlerende rol minder goed vervullen.

De gemeenteraad (en de burger) hebben beperkt zicht op algoritmen omdat het college het eigen zicht op algoritmen niet op orde heeft (zie paragraaf 4.2).

Het college beantwoordt raadsvragen over algoritmen. Maar het college informeert de raad niet structureel op vaste momenten over algoritmen. De raad is tot op heden slechts summier geïnformeerd over de collegedoelen en de realisatie daarvan. Uit het casusonderzoek blijkt dat de raad niet is geïnformeerd over de voortgang van het ontwikkelen van één algoritme en het wijzigen en stopzetten van een ander algoritme.

Ook constateerden we dat de raad onhandig is geïnformeerd over algoritmen. In plaats van antwoord te geven op de raadsvraag of alle algoritmen van de directie Openbare Orde en Veiligheid (OOV) zijn opgenomen in het algoritmeregister, heeft de burgemeester de vraag beantwoord of de beschrijving van het Top400-algoritme in het algoritmeregister volledig was. Die vraag is op 7 februari 2023 bevestigend beantwoord. Het antwoord op de vraag of het algoritmeregister op dat moment volledig was, had met de kennis van nu ontkennend beantwoord moeten worden. Vanaf september 2023 zullen twee andere algoritmen van de directie OOV worden toegevoegd aan het algoritmeregister en mogelijk gebruikt de directie OOV nog ruim dertig andere algoritmen.

Analyse

Onze hoofdconclusie luidt dat het Amsterdamse beheerskader in redelijke mate bijdraagt aan het verantwoord toepassen  van algoritmen. In deze analyse schetsen we eerst de bredere context van de algoritmetransitie. Daarna zetten we drie oorzaken uiteen waarom het Amsterdamse beheerskader voor algoritmen nog niet volledig bijdraagt aan het verantwoord toepassen voor algoritmen.

Amsterdam staat aan het begin van de algoritmetransitie
De afgelopen jaren is de maatschappelijke aandacht voor algoritmen toegenomen. Wij verwachten dat ook de gemeente de toepassing van algoritmen vaker zal overwegen, net zoals andere organisaties dat zullen doen. Er zijn namelijk nog steeds personeelstekorten en algoritmen hebben de potentie om allerlei gemeentelijke processen te automatiseren en efficiënter te maken. Ze kunnen uniformere onderbouwing van besluiten faciliteren en de dienstverlening aan burgers vereenvoudigen en vriendelijker maken. Het toepassen van algoritmen heeft gevolgen voor de werkwijzen van de gemeente en voor de dienstverlening van de gemeente aan haar inwoners. Amsterdam staat daarmee net als andere organisaties aan het begin van een structurele verandering: de algoritmetransitie.

Oorzaken die toepassing van het beheerskader in de weg staan
Het beheerskader draagt nog niet volledig bij aan het verantwoord toepassen van algoritmen. Hiervoor zien wij drie soorten verklaringen: weten (kennis), kunnen (vaardigheden en faciliteiten) en willen (attitude).

Met het oog op weten hebben we geconstateerd dat er nog onvoldoende breed bewustzijn bestaat over wat een algoritme is. Ook is slechts bij een beperkte groep ambtenaren bekend dat er een Amsterdams beheerskader voor algoritmen is en dat dit beheerskader moet worden toegepast als er sprake is van een algoritme. Omdat het beheerskader recent is vastgesteld (januari 2022) is het niet verwonderlijk dat dit nog in ontwikkeling is. Het is onduidelijk wanneer iets een algoritme is, welke onderdelen wel en niet tot het beheerskader behoren en wat de status van de verschillende instrumenten is. Dit komt niet ten goede aan de bruikbaarheid van het kader. Ook lijkt het bewustzijn nog beperkt van het belang van zorgvuldig documenteren van beslissingen en afwegingen voor een effectieve en efficiënte bedrijfsvoering. Dit is mede van belang om te kunnen evalueren en leren, en voor het afleggen van verantwoording. Het is positief dat we gedurende het onderzoek het bewustzijn en de inhoudelijke invulling van het beheerskader hebben zien groeien. In lijn met het interne jaarprogramma voert de ambtelijke organisatie vanaf 2023 diverse activiteiten uit die moeten bijdragen aan het vergroten van de bewustwording en kennisontwikkeling die nodig zijn voor verantwoord gebruik van algoritmen. Toch zijn er nog slagen mogelijk om het benodigde kennisniveau te bereiken en de groep ambtenaren die kennis heeft van het beheerskader en de toepassing uit te breiden.

Als het gaat om kunnen toepassen van het beheerskader, dan werkt het op dit moment belemmerend dat het kader nog in ontwikkeling is (zie ook de oorzaak weten) en het huidige kader als onvoldoende praktisch wordt ervaren. Het kader maakt geen duidelijk onderscheid tussen wat moet en wat kan. Het kader is risicogericht, maar maakt alleen nog onderscheid tussen algoritmen met een hoog risico en andere algoritmen. Voor het toepassen van het beheerskader is op bepaalde onderdelen specialistische kennis en ervaring nodig, bijvoorbeeld als het gaat om privacybescherming, voldoende bescherming van mensenrechten en voorkomen van bias. Ook is specialistische kennis nodig om in een vroegtijdig stadium te kunnen vaststellen of het ontwikkelen van een algoritme haalbaar is. In die zin is de les die de ambtelijke organisatie heeft getrokken waardevol: werk vanaf het eerste begin samen in multidisciplinaire teams. Een randvoorwaarde daarvoor is dat interne specialisten (op afroep) beschikbaar zijn, de ambtelijke organisatie deze weet te vinden en gebruikmaakt van hun diensten. We constateren dat de diensten van de Functionaris Gegevensbescherming (FG) weinig worden benut (terwijl dit bij het opstellen van een DPIA wel verplicht is). Maar als de FG wel om advies wordt gevraagd, blijkt er onvoldoende capaciteit bij het team van de FG om snel te reageren. Dit capaciteitstekort geldt ook voor privacy-officers. De Commissie Persoonsgegevens Amsterdam (CPA), die onder andere als taak heeft om Amsterdam te adviseren over algoritmen, ethische vraagstukken en privacy, wordt nog niet vaak door ontwikkelteams van algoritmen geraadpleegd.

Als het gaat om het willen is het van belang dat ambtenaren de meerwaarde van het Amsterdamse beheerskader gaan inzien bij het ontwikkelen en toepassen van hun algoritme. Dat is niet alleen in het belang van de ambtelijke organisatie, maar ook in het belang van de burger. Een aantal ambtenaren vraagt zich af hoe het beheerskader zich verhoudt tot de andere procedures die zij al volgen. Bovendien helpt het niet dat de woorden 'algoritme', 'bias' en 'profilering' soms een negatieve connotatie hebben, bijvoorbeeld vanwege negatieve publieke sentimenten rondom algoritmen als gevolg van de Toeslagenaffaire en het fraude-opsporingsinstrument Systeem Risico Indicatie (SyRI). Sommige ambtenaren willen hiermee liever niet geassocieerd worden. Tot slot is het beheerskader met zeven instrumenten omvangrijk. De gebruikte terminologie suggereert dat elk algoritme, ongeacht de risico's die eraan verbonden zijn, een uitgebreid traject moet doorlopen voordat het in gebruik kan worden genomen. Dit roept bij ambtenaren het beeld op van verregaande regeldruk die niet in verhouding staat tot het beoogde doel van het algoritme. Dit schrikt af en kan ertoe leiden dat ze afzien van het ontwikkelen van een algoritme, nog voordat is uitgezocht of het ontwikkelen van het algoritme haalbaar is.

Aanbevelingen

Voortbouwend op de conclusies en analyse doen wij vijf aanbevelingen aan het college van B en W. We verwachten dat het uitvoeren van deze aanbevelingen in combinatie met de lessen uit de praktijk (zoals verwoord in hoofdstuk 3 van het onderzoeksrapport) en de onderzoeksbevindingen van Tilburg University (bijlage 6 bij het rapport) bijdragen aan de realisatie van de collegedoelstellingen: beter grip krijgen op de algoritmen die de gemeente gebruikt (aanbevelingen 1 en 2), eerlijker maken van algoritmen (aanbevelingen 3 en 4) en transparanter maken van algoritmen voor haar inwoners (aanbeveling 5).

Grip vergroten op algoritmen

Aanbeveling 1: Blijf het beheerskader ontwikkelen met inachtneming van nieuwe kennis

Het Amsterdamse beheerskader voor algoritmen is in ontwikkeling. Om de toegevoegde waarde van het beheerskader voor de praktijk te vergroten, is het raadzaam om één definitie van het centrale begrip ‘algoritme’ vast te stellen en het beheerskader praktischer toepasbaar te maken. Om te voorkomen dat de ontwikkeling van een algoritme in een vergevorderd stadium moet worden stopgezet, adviseren wij om een instrument te ontwikkelen waarmee vroegtijdig kan worden bepaald of een algoritme passend en haalbaar is. Tot slot is het belangrijk om het beheerskader periodiek te evalueren en waar nodig bij te stellen.

Stel de defnitie van 'algoritme' vast
Door de keuze voor één definitie voor de term 'algoritme' is het voor iedereen duidelijk op welke geautomatiseerde toepassingen het college de grip wil vergroten en over welke algoritmen het transparant wil zijn. Als het college kiest voor een globale definitie, zoals die van de Rijksoverheid, betekent dat ook dat meer geautomatiseerde toepassingen onder de reikwijdte van het beheerskader zullen vallen en dat het college daardoor transparanter is over algoritmen.

Wij raden het college aan om de keuze voor een definitie snel te maken. En niet te wachten op de inwerkingtreding van de Europese concept AI-verordening, omdat nog onbekend is wanneer dat zal zijn.

Maak het beheerskader praktischer toepasbaar
Het is van belang dat bij de verdere ontwikkeling van het beheerskader meer samenhang wordt aangebracht, dat duidelijk wordt welke instrumenten tot het beheerskader behoren en dat de kwaliteit van alle instrumenten op niveau wordt gebracht. Ook raden wij aan om in het beheerskader aandacht te besteden aan de risico’s die nu nog onderbelicht zijn. En wij adviseren om de in januari 2022 aangekondigde activiteiten (zoals beschreven in paragraaf 1.5) af te ronden.

Daarnaast adviseren wij om de indeling van risico-inschaling voor algoritmen uit te breiden. Nu is die indeling nog dichotoom: wel of geen hoog risico. Die inschaling bepaalt welke delen van het risicoanalysemodel moeten worden doorlopen, welke onderdelen van het beheerskader en welke aanvullende werkzaamheden moeten worden uitgevoerd. Een onjuiste inschaling van een algoritme kan leiden tot niet-passende werkzaamheden.

Om de toepasbaarheid te vergroten, is het van belang dat uit het beheerskader duidelijk blijkt wat van de ambtelijke organisatie wordt verwacht. Dat vraagt om een nadere concretisering van verantwoordelijkheden en een heldere uiteenzetting welke onderdelen van het beheerskader verplicht zijn en welke als handreiking zijn bedoeld of naar eigen inzicht kunnen worden toegepast.

Tot slot adviseren wij om het beheerskader samen met de ambtenaren die ermee in de praktijk werken verder te ontwikkelen, zodat het beheerskader aansluit op de praktijk en niet stapelt bovenop de al bestaande regels en procedures. Ook vinden wij het van belang om rekening te houden met een zorg die door de ambtelijke organisatie is uitgesproken: een toename van regels kan leiden tot belemmeringen voor innovatie. Ambtenaren behouden graag de mogelijkheid voor vernieuwende initiatieven om dienstverlening aan burgers en bedrijven te verbeteren.

Ontwikkel een instrument om de haalbaarheid van algoritmen te toetsen
Het is niet wenselijk dat de ontwikkeling van een algoritme in een vergevorderd stadium moet worden stopgezet terwijl er al veel middelen zijn besteed. Om dat te voorkomen, is het noodzakelijk dat de ambtelijke organisatie vroegtijdig een inschatting kan maken of een algoritme passend en haalbaar is, en welke consequenties aan deze keuze verbonden zijn.

Zo’n vroegtijdig afwegingsmoment vraagt om de betrokkenheid van verschillende perspectieven en disciplines, waaronder die van security, privacy, mensenrechten en bias. Bij dit afwegingsmoment moet ook beoordeeld worden of de verwachte (maatschappelijke) opbrengsten van het algoritme voldoende opwegen tegen de verwachte (maatschappelijke) kosten van het ontwikkelen en het verdere beheer van het algoritme.

Overwogen kan worden om het Amsterdamse risico-analysemodel uit te breiden zodat daarmee ook de haalbaarheid van een algoritme kan worden beoordeeld. Het is dan wel noodzakelijk dat het model voor alle typen algoritmen wordt ingezet en niet alleen voor algoritmen met een hoog risico.

Evalueer periodiek het beheerskader
We raden aan om het beheerskader periodiek te evalueren en zo nodig bij te stellen. Ten eerste om te leren van ervaringen uit de praktijk. Voorgeschreven verplichtingen kunnen in de praktijk namelijk onduidelijk of overbodig blijken, terwijl het kader juist op andere onderwerpen nog als te weinig richtinggevend wordt ervaren. Ten tweede is de context rondom algoritmen tijdens de algoritmetransitie aan verandering onderhevig. Wij verwachten dat er met regelmaat nieuwe (wetenschappelijke en bestuurlijke) inzichten zullen komen en dat Europese en nationale wetgeving zal wijzigen. Daarnaast is het niet ondenkbaar dat ook de maatschappelijke opinie over algoritmen verandert.

Aanbeveling 2: Bevorder toepassing van het beheerskader in de praktijk

Het Amsterdamse beheerskader voor algoritmen wordt in de praktijk nog maar beperkt toegepast. Het is belangrijk belemmeringen weg te nemen die een verantwoorde toepassing van algoritmen in de weg staan. In het verlengde hiervan is het van belang om zicht te krijgen op de algoritmen die de ambtelijke organisatie ontwikkelt, inkoopt of al gebruikt. Ook is het goed om de aanwezige expertise meer te benutten dan momenteel het geval is. Daarnaast is van belang om periodiek vast te stellen of het algoritme doet wat het moet doen in een veranderende omgeving en te bekijken of het beoogde (maatschappelijke) doel met de toepassing van het algoritme wordt bereikt.

Neem belemmeringen voor verantwoorde toepassing algoritme weg

In de analyse benoemden we drie factoren die verantwoorde toepassing van algoritmen in de weg staan. Wij raden aan om die belemmeringen weg te nemen met de volgende acties:

  • Vergroot het bewustzijn over algoritmen en het belang van documenten bij ambtenaren.
  • Maak het beheerskader praktisch toepasbaar (zie aanbeveling 1) en eenvoudig vindbaar en vergroot de meerwaarde van het beheerskader voor de dagelijkse praktijk van de ambtelijke organisatie.
  • Maak de scholing over algoritmen toegankelijk voor een bredere groep ambtenaren en bied op onderdelen verdiepend onderwijs aan.
  • Werk in multidisciplinaire teams, waar dat zinvol is.
  • Zorg voor voldoende interne ambtelijke ondersteuning en specialisten bij het ontwikkelen, beheren en beschrijven van algoritmen.
  • Maak meer gebruik van de kennis van de functionaris gegevensbescherming (FG) en de Commissie Persoonsgegevens Amsterdam (CPA).
  • Maak duidelijk in welke gevallen en momenten het college geïnformeerd moet worden of betrokken moet worden bij de besluitvorming.
  • Onderzoek hoe de houding ten aanzien van algoritmen in positieve zin kan worden bijgesteld.


Verbeter het zicht op algoritmen
Uit ons onderzoek blijkt dat de interne inventarisatie van algoritmen moeizaam verloopt. De verdere inventarisatie en publicatie van algoritmen vraagt om een grotere inspanning. Dit is noodzakelijk om grip te krijgen op de algoritmen die Amsterdam toepast.

Maak meer gebruik van aanwezige expertise
We constateren dat de ambtelijke organisatie vragen heeft over algoritmen en dat het kennisniveau over algoritmen verbeterd kan worden. Het ambtelijk algoritmeteam, (het team van) de Functionaris Gegevensbescherming en de Commissie Persoonsgegevens Amsterdam hebben kennis over privacy, algoritmen, data-ethiek en mensenrechten die verband houden met digitalisering. In het casusonderzoek hebben wij geconstateerd dat maar in beperkte mate gebruik is gemaakt van deze kennis.

Evalueer algoritmen periodiek
Het beheerskader schrijft nog geen periodieke evaluaties van algoritmen voor. Hoewel evaluaties het beeld kunnen oproepen van extra werk, zijn ze zeer zinvol en ook noodzakelijk, zeker in een snel veranderende omgeving. Algoritmen worden ontwikkeld met een bepaald maatschappelijk doel voor ogen. Denk bijvoorbeeld aan sneller toekennen van een vergoeding aan een burger zonder opnieuw te hoeven vragen naar informatie die de gemeente al heeft. Maar ook sneller en rechtvaardiger kunnen handhaven bij verkeersovertredingen, voorkomen van gezondheidsklachten door preventief loden leidingen op te sporen of de waarde van woningen op een uniforme en efficiënte wijze bepalen. Zowel het doel als de werking van het algoritme kunnen na verloop van tijd wijzigen. Het is belangrijk om door evaluatie na te gaan of met het toepassen van het algoritme het maatschappelijk doel wel wordt bereikt.

Daarnaast kan de context waarbinnen het algoritme wordt toegepast wijzigen. Zo kunnen de doelgroepen veranderen, kan wetgeving wijzigen of er zijn er wijzigingen in de onderliggende dataset of techniek. Dit kan gevolgen hebben voor de werking, de mate waarin bias optreedt en de risico-inschaling van het algoritme, waardoor er andere beheersmaatregelen moeten worden getroffen. Periodiek evalueren helpt om deze veranderingen in beeld te krijgen en tijdig passende maatregelen te kunnen nemen.

Eerlijker maken van algoritmen

Aanbeveling 3: Verbeter de omgang met bias

De twee maatregelen die het college hanteert om bias uit te sluiten, zijn beperkt effectief. Het uitsluiten van bias is zeer complex. Wij raden het college daarom aan om na te denken over aanvullende maatregelen en om met de gemeenteraad in gesprek te gaan over bias. Om ambtenaren beter te ondersteunen bij het maken van bias-analyses bevelen wij aan om het beheerskader op dit punt te verduidelijken. Tot slot roepen wij het college op om besluiten over de rechtvaardigheid van algoritmen indien passend zelf te nemen, en dit niet altijd over te laten aan de ambtelijke organisatie.

Overweeg aanvullende maatregelen om bias tegen te gaan
We raden het college aan om te onderzoeken of bias op andere manieren kan worden voorkomen of verminderd. Voor dit onderzoek geven wij alvast twee mogelijke denkrichtingen.

Leren van de wetenschap
In de wetenschap is al lang aandacht voor vraagstukken over bias, omdat bias de betrouwbaarheid en validiteit van onderzoeksresultaten kan aantasten. Het college kan onderzoeken wat er van de wetenschappelijke aanpak te leren is om bias in de eigen algoritmen te beperken of voorkomen. In de wetenschap is het bijvoorbeeld gebruikelijk om aselecte steekproeven te nemen, zodat de selecties geen bias kunnen bevatten. Bij aselecte steekproeven heeft iedereen dezelfde kans op controle. Het is het onderzoeken waard om na te gaan of en hoe aselecte steekproeven een alternatief kunnen zijn voor risicogerichte algoritmen die gebruikt worden voor het detecteren of opsporen van overtredingen. Mogelijk vraagt het implementeren van aselecte steekproeven ook een omslag in het denken over handhaving, waarbij 'informatiegestuurd handhaven' jarenlang een belangrijke trend is geweest.

In bepaalde gevallen geen algoritmen gebruiken
Het is de vraag of het zinvol, haalbaar en wenselijk is om een algoritme te ontwikkelen met een grote kans op bias en waarbij de mogelijkheden om bias uit te sluiten beperkt zijn. Wij plaatsen bij het idee om te stoppen met algoritmen twee kanttekeningen. Ten eerste denken we dat er niet altijd een doelmatig alternatief zal zijn voor het gebruik van een algoritme. Bijvoorbeeld voor het jaarlijks berekenen van WOZ-waardes of voor het scannen van nummerborden voor parkeercontroles. Ten tweede willen we benadrukken dat ook in menselijke besluitvorming bias kan optreden. En dat is net zo moeilijk, zo niet moeilijker, te constateren dan bij een algoritme.

Ga het gesprek aan met de gemeenteraad over de ambitie om bias uit te sluiten
Het college wil bias volledig uitsluiten. Wij concludeerden dat de mogelijkheden om bias volledig uit te sluiten in de praktijk beperkt zijn. We raden het college aan om met de gemeenteraad in gesprek te gaan over de mate van zekerheid die gewenst is bij het uitsluiten van bias bij algoritmen.

Bias kan ook optreden als ambtenaren handelen of besluiten nemen zonder daarbij een algoritme te gebruiken. Wij adviseren daarom om ook hierover met elkaar in gesprek te gaan en indien gewenst maatregelen tegen bias in menselijk handelen te ontwikkelen.

Neem in het beheerskader meer handvatten op voor de omgang met bias
Het beheerskader laat nog veel vragen over bias onbeantwoord. Uit het beheerskader zou op zijn minst moeten blijken op welk moment een bias-analyse moet worden uitgevoerd: alleen vooraf bij een nieuw algoritme of ook periodiek als het algoritme wordt toegepast. Ook is meer duidelijkheid gewenst over de vraag welke standaard voor het onderzoeken en analyseren van bias moet worden toegepast. Daarnaast moet duidelijk zijn welke personen bij de uitvoering van de bias-analyse betrokken moeten zijn.

Zorg dat u besluiten over de rechtvaardigheid van algoritmen ook zelf neemt
De vraag of (de kans op) systematische afwijkingen voor bepaalde personen of groepen wel of niet gerechtvaardigd zijn, is juridisch en ethisch complex. De beantwoording daarvan verschilt per algoritme en vraagt om een heldere motivering. Omdat het soms een politieke beslissing betreft kun je dit niet alleen aan de ambtelijke organisatie overlaten. Ook het college zal over de rechtvaardigheid van individuele algoritmen moeten besluiten, zodat het zich daarover kan verantwoorden aan de raad en de inwoners van de gemeente Amsterdam.

Aanbeveling 4: Breng de privacybescherming van burgers bij algoritmen op orde

Het college hecht veel waarde aan een zorgvuldige verwerking van persoonsgegevens. Tegelijkertijd zijn de privacyrechten van burgers bij algoritmen nog niet goed beschermd. Om de privacybescherming op orde te brengen, is het noodzakelijk de belemmeringen in kaart te brengen die de uitvoering van de privacywetgeving in de weg staan en deze weg te nemen. Het merendeel van de privacyrisico’s dat onderbelicht is in het Amsterdamse beheerskader voor algoritmen heeft betrekking op de communicatie van de gemeente naar burgers over het gebruik van hun persoonsgegevens. Het is van belang dat de gemeente waar mogelijk burgers voortaan persoonlijk informeert over het gebruik van hun gegevens door een algoritme.

Breng belemmeringen bij uitvoering van privacywetgeving in kaart en neem ze weg
Zeven jaar na ons rapport Privacy van burgers met een hulpvraag en vijf jaar na de inwerkingtreding van de Algemene Verordening Gegevensbescherming (AVG) is het nog altijd niet vanzelfsprekend dat de gemeente aan deze wettelijke privacyverplichtingen uitvoering geeft. Het beheerskader heeft aandacht voor privacyrisico’s en de te treffen beheersmaatregelen om die risico’s te verkleinen. Maar we constateren dat daaraan maar beperkt uitvoering is gegeven. Het gevolg is dat de privacyrechten van burgers niet goed worden beschermd.

In de analyse benoemen we enkele mogelijke oorzaken voor het niet uitvoeren van deze wettelijke verplichtingen. We kunnen ons voorstellen dat het belang van de privacy van de burger nu nog door een beperkte groep ambtenaren wordt ervaren. Onze analyse van de achterliggende problematiek is niet compleet. Voor het borgen van de privacy is verder zicht nodig op de redenen dat de ambtelijke organisatie niet handelt naar deze regels.

In het onderzoek naar belemmeringen voor de ambtelijke organisatie in de uitvoering kunnen ook de factoren worden betrokken die hoogleraar Law and Society aan de Universiteit van Amsterdam Van Rooij heeft benoemd (2021). Hij benadrukt het belang dat organisaties wettelijke eisen vertalen in procedures, systemen en normen voor de organisatie en dat medewerkers daarmee ook bekend zijn. Als dat niet gebeurt, wordt handelen conform de regels lastig. Daarnaast stelt Van Rooij: hoe meer persoonlijke en sociale normen aansluiten op de regels, hoe groter de kans dat die regels worden opgevolgd.  Wij achten het van belang dat bij het in kaart brengen van belemmeringen van de uitvoering van privacywetgeving ten minste ook de ervaringen worden betrokken van de privacy officers, de functionaris gegevensbescherming (FG) en de Commissie Persoonsgegevens Amsterdam (CPA).

Als de belemmeringen bekend zijn, is het zaak om ze te verminderen of helemaal weg te nemen.

Informeer burgers persoonlijk over het gebruik van hun gegevens
Niet alle algoritmen die in Amsterdam worden toepast, gebruiken gegevens die herleidbaar zijn naar een persoon (‘persoonsgegevens’). Voor dit type algoritmen volstaat informatieverstrekking via de gemeentelijke website, bijvoorbeeld in het algoritmeregister. Voorwaarde is wel dat deze informatie volledig en actueel is.

Voor algoritmen die wel persoonsgegevens gebruiken, volstaat alleen informatie op een website niet. De gemeentelijke website is gericht op een algemene doelgroep. De kans is groot dat informatievoorziening via die weg niet alle burgers bereikt die het aangaat. Niet alle mensen zullen zich ervan bewust zijn dat de gemeente informatie heeft gepubliceerd en dat die informatie voor hen relevant is. Deze vorm van informatievoorziening sluit ook niet aan bij het uitgangspunt van het college om burgers actief persoonlijk te informeren, zodat bij hen bekend is welke informatie de gemeente over ze heeft.

Als de burger vraagt om een besluit van de gemeente en daar waar de gemeente uit eigen beweging een (sanctie)besluit neemt, is het altijd mogelijk om de burger persoonlijk te informeren dat het bij de besluitvorming een algoritme is gebruikt dat persoonsgegevens verwerkt. Dat kan eenvoudig door in het besluit specifiek te verwijzen naar het algoritmeregister en de privacyverklaring. Een voorwaarde is dan wel dat deze twee bronnen volledig en actueel zijn. Een aanvullende optie is om de burger in de toekomst te verwijzen naar Mijn Amsterdam. Op die persoonlijke pagina kunnen burgers zien welke gegevens de gemeente van hen heeft vastgelegd. De gemeente geeft aan dat op dit moment (september 2023) nog niet alle informatie beschikbaar is op deze pagina.

Transparant zijn over algoritmen

Aanbeveling 5: Wees opener en transparanter over het gebruik van algoritmen

Het college wil transparanter zijn over algoritmen. Wij adviseren het college daarom om de raad op vaste momenten te informeren over algoritmen en over de realisatie van het nog vast te stellen algoritmebeleid. Het is ook nodig om het Amsterdamse algoritmeregister in kwanitatieve en kwalitieve zin aan te vullen. Tot slot is het van belang dat burgers in besluiten die hen raken ruimhartig worden geïnformeerd over de rol van een algoritme in het besluitvormingsproces. Zo kunnen ze het besluit reconstrueren en een onderbouwde afweging maken of ze bezwaar willen maken tegen dat besluit.

Informeer de raad op vaste momenten over het algoritmenbeleid en algoritmen
De raad heeft veel belangstelling voor algoritmen. Het college informeert de raad veelal op verzoek. We verwachten dat structureel informeren van de raad op vaste momenten over het nog vast te stellen algoritmebeleid, de uitvoering en de doelrealisatie daarvan de gemeenteraad beter in positie brengt. Zo kan de raad meedenken over de te stellen kaders en zijn controlerende taak uitvoeren.

Vul het algoritmeregister aan
Het algoritmeregister moet vollediger worden gemaakt om de college-ambities over transparantie waar te maken. Volledigheid heeft betrekking op het aantal algoritmen dat in het algoritmeregister is geregistreerd. Het gaat ook over de informatie die over een algoritme in het register staat (zie ook hieronder bij de kwaliteit van het algoritmeregister). Met een completer algoritmeregister krijgen burgers en raadsleden beter zicht op de algoritmen die in Amsterdam worden gebruikt. We verwachten dat dit de dialoog tussen de raad en het college en de dialoog tussen de burger en de gemeente zal stimuleren, en daarmee het verantwoord toepassen van algoritmen zal bevorderen.

Verbeter de kwaliteit van het algoritmeregister
De kwaliteit van de informatie over algoritmen in het algoritmeregister is wisselend. De informatiewaarde wordt vergroot door meer diepgang aan te brengen en structureel meer documenten openbaar te maken, waaronder broncodes en mensenrechten-impactanalyses. Verder kan de informatiewaarde en transparantie toenemen door in te gaan op de rechtvaardiging van de inzet van het algoritme en op de vraag in hoeverre burgers betrokken zijn geweest bij de ontwikkeling van het algoritme.

Ook is het van belang dat het algoritmeregister informatie verstrekt over de mate van zekerheid dat bias is uitgesloten en over de vraag of een algoritme systematisch onderscheid maakt op één, meerdere of combinaties van beschermde gronden (zie paragraaf 2.1). En als er onderscheid wordt gemaakt, waarom het college dat gerechtvaardigd vindt. De transparantie van het algoritmeregister neemt toe als zo concreet mogelijk, dus zonder verhullend taalgebruik, wordt gecommuniceerd over de doelen, de werking en de risico's en kansen van het algoritme voor een individuele burger en voor de maatschappij.

Door meer openbaar te maken en concreter te communiceren zal Amsterdam beter voldoen aan de wettelijk geldende transparantie-eisen en de eisen die het college zichzelf heeft opgelegd.

Wees transparant over de rol van algoritmen in besluitvorming
Algoritmen worden vaak gebruikt om ambtenaren van informatie te voorzien voor het nemen van besluiten die van invloed zijn op burgers. Het is belangrijk om al bij het oorspronkelijke besluit (‘primaire besluit’) duidelijk te zijn over de rol van het algoritme in de besluitvorming. Dat maakt het besluit reconstrueerbaar voor de belanghebbende(n). Wij adviseren het college om niet te wachten met het reconstrueerbaar maken van het besluit tot er bezwaar is aangetekend. Ook adviseren wij het college om ruimhartig te zijn met de informatie die het verstrekt.

Reactie college en nawoord rekenkamer

Bestuurlijke reactie

Op 3 oktober 2023 hebben wij de concept-versie van het rapport aan het college van B en W aangeboden voor een bestuurlijke reactie. Daarbij hebben wij in het bijzonder verzocht om een reactie op onze conclusies en aanbevelingen. Op 17 oktober 2023 hebben wij de bestuurlijke reactie van het college ontvangen. De integrale tekst van de bestuurlijke reactie × Download Bestuurlijke reactie is hieronder te lezen. De bestuurlijke reactie kan hiernaast worden gedownload.

 

Geachte mevrouw Daalder,

Op 3 oktober 2023 heeft u het college van B&W uw concept-bestuurlijk eindrapport over het gemeentelijke beheerskader voor algoritmen aangeboden voor bestuurlijk wederhoor. In het rapport Algoritmen staan uw bevindingen, conclusies en aanbevelingen. U verzoekt ons daarop te reageren. Onderstaand treft u onze bestuurlijke reactie aan.

Het college spreekt zijn grote waardering uit voor de Rekenkamer Metropool Amsterdam (verder: Rekenkamer) omdat zij een onderwerp heeft onderzocht dat zowel hoog op de prioriteitenlijst staat van het college en de gemeenteraad als van de landelijke en Europese politiek. Wij hebben het rapport dan ook met belangstelling en herkenning tot ons genomen. Het onderzoek biedt een waardevol overzicht van de positieve punten en de verbeterpunten van het beheerskader en de werking ervan bij drie algoritmen. Het college waardeert dat het beheerskader zo nauwgezet is geanalyseerd. Uw reflecties bieden ons tastbare handvatten voor verdere verbetering en aanscherping van onze werkwijze.

Algemeen
Algoritmen zijn, zoals u beschrijft, niet meer weg te denken in de steeds verder digitaliserende wereld. Het is niet mogelijk om volledig af te zien van het gebruik van algoritmen. Dat is ook niet wenselijk, omdat daarbij voorbijgegaan wordt aan de positieve effecten die het gebruik ervan kan hebben. Zoals de Rekenkamer terecht aangeeft kunnen algoritmen allerlei gemeentelijke processen automatiseren en efficiënter te maken, uniformere onderbouwing van besluiten faciliteren en de dienstverlening aan burgers vereenvoudigen en vriendelijker te maken. Zo kunnen we bijvoorbeeld veel effectiever controleren of parkeergeld is betaald door een scanauto in te zetten en via een algoritme geautomatiseerd controleren of het parkeergeld is betaald. Ook kunnen we tijdig ingrijpen bij dreigende problematische schulden of als het ergens te druk dreigt te worden in de openbare ruimte. Het college is zich daarbij ook terdege bewust van de risico’s die het gebruik van algoritmen met zich meebrengt, zoals bijvoorbeeld een vooringenomenheid van een algoritme (bias), maar vindt een verbod onwenselijk en onnodig. Om de risico's te beheersen hebben we een beheerskader opgesteld. De inzet van het college is om hiermee grip te krijgen op algoritmen en om ze verantwoord (eerlijker en transparanter) toe te passen.

Het beheerskader is nog steeds in ontwikkeling en de gemeente Amsterdam vervult hiermee, zoals ook in het rapport staat, een pioniersrol aan het begin van de algoritmetransitie. Het college ziet het als een ondersteuning voor de ingeslagen weg dat de Rekenkamer oordeelt dat het (nog in ontwikkeling zijnde) beheerskader al voor 49 van de 61 relevante risico’s voldoende aandacht heeft voor het verantwoord toepassen van algoritmen. Maar het college onderschrijft eveneens de conclusie van de Rekenkamer dat er nog verbeteringen mogelijk en noodzakelijk zijn. Dit geldt ook voor de lessen die de Rekenkamer heeft getrokken uit de analyse van drie algoritmen die zijn onderzocht binnen de gemeentelijke organisatie. Ondanks de vele inspanningen en goede resultaten van de afgelopen jaren, beseft het college dat we er nog niet zijn en dat extra inspanningen nodig zijn. Daarbij zullen de punten waar u terecht aandacht voor vraagt worden meegenomen.

Aanbevelingen
Naar aanleiding van de uitkomsten van uw onderzoek doet u in uw rapport vijf aanbevelingen. Het college geeft per aanbeveling aan hoe zij er opvolging aan geeft.

Blijf het beheerskader ontwikkelen met inachtneming van nieuwe kennis

Om de grip op algoritmen te vergroten adviseert de Rekenkamer om te komen tot één definitie van algoritme, het beheerskader praktischer toepasbaar te maken, het uit te breiden met een instrument om de haalbaarheid van algoritmen te toetsen en het beheerskader periodiek te evalueren.

Het college neemt deze aanbeveling over. Het Amsterdamse beheerskader is zoals gezegd nog in ontwikkeling en zal geactualiseerd en verbeterd worden. Startpunt is de herziening van het werkproces van de eerste beoordeling van algoritmen tot aan de opname ervan in het register (governance), die naar verwachting in het laatste kwartaal van 2023 afgerond is. Gelijktijdig daaraan pakken we operationele verbeteringen op van de zeven instrumenten van het beheerskader, waaronder het vaststellen van een eenduidige definitie, risico-inschaling in lijn met de Europese AI-verordening en verduidelijking welke instrumenten wanneer ingezet dienen te worden. Eind 2023 wordt de planning van de overige te realiseren verbeteringen vastgesteld.

Bevorder de toepassing van het beheerskader in de praktijk

Om de grip op algoritmen te vergroten adviseert de Rekenkamer om belemmeringen voor de verantwoorde toepassing van algoritmen weg te nemen, het zicht op algoritmen te verbeteren, meer gebruik te maken van de binnen de gemeente aanwezige expertise en algoritmen periodiek te evalueren.

Het college neemt deze aanbeveling over. Enkele verbeteringen worden momenteel al ontwikkeld en doorgevoerd. Zo is het beheerskader inmiddels integraal onderdeel van de hernieuwde werkwijze voor Quality Assurance. Quality Assurance is het vakgebied dat zorgt dat er beter wordt voldaan aan Europese, landelijke én Amsterdamse wet- en regelgeving rondom informatievoorziening. Hierdoor vergroten we het gebruik van het beheerskader en het zicht op algoritmen en waarborgen we dat de aanwezige expertise gebruikt wordt. Daarnaast werken we nu uit hoe we meer aandacht gaan geven aan bewustwording via doelgerichte workshops en ontwikkelen we een algemene e-learning (die naar verwachting in de eerste helft van 2024 beschikbaar is). Daarnaast werken we in de eerste helft van 2024 uit hoe we algoritmen periodiek gaan evalueren en hoe we het beheerskader praktisch toepasbaarder gaan maken. Op korte termijn zal geborgd worden dat het college nadrukkelijker betrokken gaat worden.

Verbeter de omgang met bias

Om algoritmen eerlijker te maken adviseert de Rekenkamer om aanvullende maatregelen om bias tegen te gaan te overwegen en meer handvatten op te nemen voor de omgang met bias in het beheerskader. Ook roept de Rekenkamer het college op om besluiten over de rechtvaardigheid van algoritmen zelf te nemen en het gesprek aan te gaan met de raad over welke mate van zekerheid zou moeten worden en kunnen nagestreefd bij het uitsluiten van bias.

Het college neemt deze aanbeveling over. Bias is een vertekening van de werkelijkheid waardoor bevooroordeling of benadeling optreedt. Dit moet zo veel mogelijk worden voorkomen. Bias komt zowel voor bij puur menselijk handelen als door een statistische fout, bijvoorbeeld door een algoritme. Daarbij kunnen algoritmen de bias zelfs verlagen, doordat ze – mits goed ingericht – objectiever kunnen zijn dan behandelaars. De Rekenkamer geeft in de ogen van het college terecht aan dat bias in menselijke besluitvorming net zo moeilijk, zo niet moeilijker te constateren is als bij een algoritme.

Op korte termijn zal in het beheerskader duidelijker gemaakt worden wanneer welke bias-analyse uitgevoerd moet worden en door wie. Ook zal het beheerskader aangepast worden zodat hoog risico algoritmen ter goedkeuring aan het college worden aangeboden. In de eerste helft van 2024 komt het college met voorstellen en gaat het in gesprek met de gemeenteraad over de manier waarop we bij het gebruik van algoritmen bias maximaal kunnen uitsluiten en de afwegingen die daarbij ontstaan.

Breng de privacybescherming van burgers bij algoritmen op orde

Om algoritmen eerlijker te maken adviseert de Rekenkamer om belemmeringen bij uitvoering van privacywetgeving in kaart te brengen en weg te nemen. Ook moeten burgers persoonlijk over het gebruik van hun gegevens geïnformeerd worden.

Het college neemt deze aanbeveling eveneens over. Privacy is steeds meer onderdeel van alle processen van de gemeente sinds de komst van de AVG. Dit wordt nog completer gemaakt door daaraan de onderwerpen digitale rechten en ethiek toe te voegen. Momenteel is de ambtelijke organisatie bezig met het weghalen van diverse belemmeringen bij de uitvoering van privacywetgeving. Onder andere door het vernieuwen van werkwijzen, hulpmiddelen en sjablonen, door het verbeteren van de governance (taken en verantwoordelijkheden) en door verdere bewustwordingsactiviteiten (onder andere op het vlak van dataminimalisatie, privacy-verklaringen en het verwerkingsregister). Daarnaast verbeteren we nu de monitoring van de vastgestelde privacy-maatregelen door de inrichting van de nieuwe applicatie voor risicomanagement.

Het college is van mening dat we burgers, in het kader van transparantie, zo volledig en proactief mogelijk moeten informeren. Voor nieuwe algoritmen nemen we dit mee in de aanpassing van het beheerskader die we in de eerste helft van 2024 doorvoeren, zodat in het ontwerp zo goed mogelijk de persoonlijke informatievoorziening naar burgers wordt meegenomen. Voor bestaande algoritmen gaan we per algoritme beoordelen welke aanpassingen in processen en applicaties er mogelijk zijn om de burger ook persoonlijk te informeren (naast de algemene informatie die we al verstrekken). Daarbij moeten we ook kijken naar beperkende factoren, zoals arbeidsintensiviteit, beschikbare middelen en technische mogelijkheden. Deze analyse kost tijd en is uiterlijk einde 2024 gereed.

Wees opener en transparanter over het gebruik van algoritmen

Om transparant te zijn over algoritmen adviseert de Rekenkamer om de raad op vaste momenten over het algoritmebeleid en algoritmen te informeren, het algoritmeregister aan te vullen en de kwaliteit ervan te verbeteren en om transparant te zijn over de rol van algoritmen in de besluitvorming.

Het college neemt ook deze aanbeveling over. We blijven doorgaan met aanvullen en verbeteren van het algoritmeregister en de bewustwording hierover. Zo hebben we onlangs bij de afdoening van motie 157.23 zeven maatregelen aangekondigd om het algoritmeregister toegankelijker en bekender te maken. En als we een algoritme analyseren, dan nemen we daarin mee hoe we burgers op een persoonlijke wijze kunnen informeren als algoritmen een rol spelen bij een primair besluit. Daarnaast zal het college voorstellen doen hoe de raad te informeren over het algoritmebeleid en algoritmen.

Tot slot

Het college dankt de Rekenkamer voor het gedegen onderzoek en de aanbevelingen. Het biedt handvatten voor zowel de stelselverantwoordelijke wethouder ICT en Digitale Stad als de vakwethouders die verantwoordelijk zijn voor de toepassing van algoritmen in de realisatie van hun beleidsterreinen. Deze handvatten zullen worden verwerkt in een plan van aanpak waarin de hierboven beschreven interventies zullen worden opgenomen. Dat plan van aanpak zal nog in 2023 gereedkomen.
Wij hopen u hiermee voldoende te hebben geïnformeerd.

Met vriendelijke groet, Het college van burgemeester en wethouders van de gemeente Amsterdam,

Femke Halsema
burgemeester

Peter Teesink
gemeentesecretaris
 

Nawoord rekenkamer

De rekenkamer bedankt het college voor zijn inhoudelijke en constructieve reactie op dit rapport. In deze reactie onderschrijft het college onze conclusies en neemt het onze vijf aanbevelingen over. We zijn positief over de maatregelen die het college nu al neemt en de maatregelen die het heeft aangekondigd om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken. Wij waarderen het bovendien dat het college heeft toegezegd om voor eind 2023, ruim eerder dan de standaardtermijn van zes maanden, een plan van aanpak op te stellen met daarin een planning van de te realiseren verbeteringen. Hoewel het niet expliciet is aangeven in de bestuurlijke reactie, gaan wij er vanuit dat het college dit plan van aanpak ook aan de gemeenteraad aanbiedt. We verwachten dat dit plan een concrete beschrijving en planning zal bevatten over hoe opvolging zal worden gegeven aan de verschillende onderdelen van onze aanbevelingen.

Ten behoeve van de verdere uitwerking in het door het college aangekondigde plan zijn er drie punten die wij onder de aandacht willen brengen van de gemeenteraad en het college.

Bij aanbeveling 3 (Verbeter de omgang met bias) adviseren wij het college om de besluiten over de rechtvaardigheid van algoritmen ook zelf te nemen. In reactie op deze aanbeveling geeft het college aan het beheerskader zo aan te zullen passen dat hoog risico algoritmen ter goedkeuring aan het college worden aangeboden. Deze verplichting maakt nu al onderdeel uit van het beheerskader, maar wij constateren dat slechts één hoog risico algoritme ter besluitvorming is voorgelegd aan het college. Een aanvullende toelichting over waarom goedkeuring van het college nodig is, draagt mogelijk bij aan het betere naleving van deze verplichting. Uit de bestuurlijke reactie blijkt nog niet of alle bestaande hoog risico algoritmen met terugwerkende kracht ter besluitvorming aan het college zullen worden voorgelegd. Bovendien is nog niet duidelijk of het college zelf ook besluiten over de rechtvaardigheid van algoritmen zal nemen, en of het college dat ook gaat doen voor algoritmen die het op dit moment al toepast. Het lijkt ons zinvol dat het college hier een toelichting op geeft.

In aanbeveling 3 adviseren wij het college ook om het gesprek aan te gaan met de gemeenteraad over de ambitie om bias uit te sluiten. Het college kondigt aan in de eerste helft van 2024 in gesprek te gaan met de gemeenteraad over de manier waarop het college bij het gebruik van algoritmen bias maximaal kan uitsluiten en de afwegingen die daarbij ontstaan. Omdat de mogelijkheden om bias volledig uit te sluiten beperkt zijn, raden we het college en de raad aan om ook met elkaar in gesprek te gaan over welke mate van zekerheid wenselijk en mogelijk is als het gaat over het uitsluiten van bias.

Bij aanbeveling 4 adviseren wij het college om te onderzoeken waarom de ambtelijke organisatie privacyregels niet naleeft. Het college geeft aan dat de ambtelijke organisatie momenteel al bezig is met het weghalen van diverse reeds bekende belemmeringen bij de uitvoering van privacywetgeving. Dit stemt ons positief. Desondanks dringen we er op aan dat het college ook onderzoekt welke andere belemmeringen ambtenaren ervaren bij het naleven van privacyregels en wat daarvan de achterliggende oorzaken zijn, zodat ook die belemmeringen weggenomen kunnen worden.

Onderzoeksverantwoording

Dit is het bestuurlijk rapport van het onderzoek van de rekenkamer naar Algoritmen. Het volledige rapport bestaat naast dit bestuurlijk rapport ook uit het onderzoeksrapport dat vanaf 20 oktober 2023 staat op de projectpagina.

Onderzoeksteam

Rekenkamer Amsterdam
DirecteurAnnelies Daalder
OnderzoekersArjan Kok (projectleider)
Tello Heldring
Robin van de Maat
Bram Faber
Niki Trapman
Caroline van Zon

Onderzoeksrapport, onderzoeksvragen en dankwoord

Onderzoeksrapport
Dit is het bestuurlijk rapport van het onderzoek naar Algoritmen. Het bestuurlijk rapport geeft een bondige samenvatting van de belangrijkste bevindingen van het onderzoek, de daaruit volgende conclusies, een analyse en aanbevelingen. Het onderzoeksrapport bevat een gedetailleerde omschrijving van de aanleiding van het onderzoek, de onderzoeksvragen, de aanpak en de beantwoording van de deelvragen op basis van onze onderzoeksbevindingen.

Onderzoeksvraag en deelvragen
De centrale onderzoeksvraag van dit onderzoek luidt:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk?

De centrale onderzoeksvraag is beantwoord aan de hand van drie deelvragen. Deelvraag 1 is gebruikt voor het onderzoek naar het Amsterdamse beheerskader voor algoritmen. Deelvragen 2 en 3 zijn toegepast bij het casusonderzoek naar drie Amsterdamse algoritmen.

Deelvraag 1: In hoeverre draagt het Amsterdamse beheerskader voor algoritmen bij aan de verantwoorde toepassing van algoritmen? 

Deelvraag 2: Hoe wordt het algoritme toegepast?

Bij deze deelvraag hanteren we de volgende beschrijvende subdeelvragen:

  • Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is bereikt?
  • Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast?
  • Wat zijn kenmerken van de gebruikte data?
  • Wat is de herkomst van de data?
  • Wat voor soort algoritme betreft het?
  • Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen?
  • Zijn er alternatieven overwogen?
  • Welke impact op burgers of bedrijven is voorzien?

Deelvraag 3: In welke mate zijn bij de toepassing van het algoritme de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd? 

De oorspronkelijke onderzoeksopzet en het onderzoeksrapport zijn gepubliceerd op de projectpagina.

Dankwoord
We spreken onze dank uit aan alle personen die hebben meegewerkt aan dit onderzoek. Met dank aan de ambtenaren van de gemeente Amsterdam van de directie Digitale Strategie en Informatie, de directie Wonen, de directie Inkomen en het programma Varen voor het aanleveren van documenten, het beantwoorden van (aanvullende) vragen, de gevoerde gesprekken en het controleren van ons onderzoeksrapport op feitelijke onjuistheden. Speciale dank gaat uit naar de ruim vijfhonderd mensen, waaronder leden van ons burgerpanel, die hebben meegedaan aan de verkiezing van één te onderzoeken algoritme. Tot slot danken wij de auteurs van het rapport Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen voor de samenwerking.