Algoritmen
Onderzoeksrapport

Toelichting en leeswijzer

Inleiding

In de volgende paragrafen gaan we in op de aanleiding van het onderzoek, de Amsterdamse context rondom algoritmen, het doel en de onderzoeksvragen van het onderzoek, de aanpak, en tot slot de leeswijzer bij dit rapport.

Aanleiding onderzoek

De gemeente Amsterdam gebruikt algoritmen bij de uitvoering van haar taken (zie kader Voorbeelden algoritmen Amsterdam).

We constateren dat er voor de term 'algoritme’ verschillende definities in omloop zijn op internationaal en nationaal niveau. In navolging van de Algemene Rekenkamer hanteren we in dit onderzoek de volgende definitie van ‘algoritmen’: 

Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.

Met het gebruik van algoritmen kunnen sommige taken van de gemeente (gedeeltelijk) automatisch of sneller worden uitgevoerd. Bovendien bieden algoritmen de mogelijkheid om besluitvorming transparant te maken, problemen van burgers te voorkomen of vroegtijdig te signaleren, en gelijke gevallen gelijk te behandelen. Algoritmen kunnen zeer eenvoudig zijn (bijvoorbeeld een eenvoudige beslisboom), maar ook zeer complex in het geval van artificiële intelligentie (AI)  bij het leren herkennen van zwerfafval. Zowel eenvoudige als complexe algoritmen kunnen grote impact hebben op burgers en bedrijven.

Indien een algoritme de structuur heeft van een (eenvoudige) beslisboom, dan zullen wij in dit onderzoek spreken van een ‘rule-based’ algoritme. Is er sprake van een zelflerend algoritme dat op basis van statistische analyse van de eigen output zelf de eigen criteria en beslisregels bij kan stellen, of kan leren voorspellingen te doen op basis van historische data, dan zullen wij spreken over een ‘case-based’ algoritme. 

Aandacht voor de risico's van algoritmen van groot belang
Amsterdam zet algoritmen in om zijn dienstverlening en taken sneller, gerichter en beter uit te voeren.  Het levert de stad veel voordelen op, maar de toepassing van algoritmen is niet risicoloos. Behalve het risico op de inbreuk op de privacy van burgers, kunnen verkeerde toepassingen van het gebruik van algoritmen discriminerende werkingen hebben als deze vooroordelen bevatten. Burgers en bedrijven krijgen vaker te maken met algoritmen en de impact ervan.  Maar het gebruik van algoritmen is niet altijd zichtbaar voor burgers. Ook is de werking van algoritmen voor burgers niet altijd eenvoudig te begrijpen.

Meerdere rapporten en onderzoeken zijn inmiddels verschenen over de risico's en voordelen van het gebruik van algoritmen. De Algemene Rekenkamer (2021) constateert bijvoorbeeld dat bij algoritmen veelal niet de burger, maar de overheid centraal lijkt te staan.  Hierdoor is er volgens de Algemene Rekenkamer maar weinig aandacht voor de ethische aspecten en vragen van bezorgde burgers over de toepassing van algoritmen. In een recenter verschenen rapport van de Algemene Rekenkamer (2022) werd vastgesteld dat algoritmen van de rijksoverheid niet volledig voldoen aan de eisen die de Algemene Rekenkamer daaraan stelt (zie paragraaf 1.4.1). Uiteenlopende risico's bestaan bij deze algoritmen, variërend van gebrekkige controle op prestaties of effecten, tot mogelijke vooringenomenheid, datalekken of ongeautoriseerde toegang.  Tegelijkertijd zorgen algoritmen voor een snellere en doelmatige besluitvorming, waardoor het werk met minder ambtenaren kan worden gedaan en burgers minder lang op hun besluit hoeven te wachten en eerder hun geld ontvangen van de overheid.  De Nationale ombudsman (2021) benoemt als randvoorwaarde bij het gebruik van algoritmen door overheden dat de grondrechten en ethische normen van burgers gewaarborgd moeten blijven.  Het gebruik van algoritmen moet daarbij duidelijk, toegankelijk en oplossingsgericht zijn.

Risico's bij het toepassen van algoritmen spelen niet alleen bij de rijksoverheid, maar ook bij lokale overheden. De Rekenkamer Rotterdam concludeerde in haar rapport Gekleurde technologie (2021) bijvoorbeeld dat er te weinig overzicht is van de toegepaste algoritmen in de organisatie.  Ook ziet de Rotterdamse rekenkamer dat de verantwoordelijkheid voor ethische principes nog onvoldoende ambtelijk belegd is en dat het gebruik van algoritmen kan leiden tot vooringenomen uitkomsten. 

Raadsleden en burgers maken zich zorgen om algoritmen
Niet alleen verschillende onderzoeksinstanties zien risico's bij algoritmen. Uit onze analyse van Amsterdamse raads- en commissieverslagen over de laatste vier jaren  blijkt dat raadsleden zich duidelijk zorgen maken over het gebruik van algoritmen in de gemeente. Raadsleden zien eveneens de risico’s als gevolg van vooringenomenheid of onethisch gebruik en hebben daardoor oog voor (strenge) randvoorwaarden. Zij willen dat algoritmen begrijpelijk zijn voor burgers en dat er een menselijke maat wordt gehanteerd. Volgens de raadsleden maken burgers zich veelal zorgen dat de overheid door algoritmen te veel over hun privéleven te weten komt. Andere zorgen zijn dat de overheid algoritmen gebruikt zonder dat te vertellen, en dat de overheid niet aan burgers kan uitleggen hoe een besluit is genomen. Dat geldt niet alleen voor technisch ingewikkelde algoritmen, maar ook voor simpele algoritmen die grote gevolgen kunnen hebben voor burgers.

Raadsleden hebben een initiatiefvoorstel ingediend en schriftelijke vragen gesteld. Daarmee vragen zij aandacht voor de (ethische) risico's van algoritmen. Zo besloot de gemeenteraad op 16 februari 2022 in te stemmen met een initiatiefvoorstel  waarin het college wordt verzocht om te evalueren in hoeverre er voldoende maatregelen zijn voor het waarborgen van brede ethische toetsing van technologische toepassingen (zoals algoritmen).  Ook werden in juni 2022 nog schriftelijke vragen gesteld over de mogelijke vooringenomenheid in het algoritme Criminaliteit Anticipatie Systeem (CAS) , dat gebruikt wordt door de politie. 

Raadsleden zien ook kansen van algoritmen
Aan de andere kant zien raadsleden ook kansen met betrekking tot algoritmen. Zo zijn twee van de onderzochte algoritmen in dit onderzoek toegepast als gevolg van een raadsmotie. Bijvoorbeeld om een proces efficiënter te maken, of om patronen te herkennen die een mens niet zou waarnemen. In december 2017 is in de gemeenteraad een motie aangenomen om illegale passagiersvaart tegen te gaan, “waar mogelijk door het inzetten van geavanceerde digitale controlemogelijkheden”.  Dit verzoek heeft uiteindelijk geleid tot de ontwikkeling van een algoritme om illegale passagiersvaart te detecteren.

Ook heeft de raad in maart 2019 een motie aangenomen om fraude bij sociale huurwoningen aan te pakken door middel van controle op de gemeentelijke basisadministratie op basis van een ‘risicokaart’, waarbij de raad het college expliciet vraagt om ook te kijken naar "fraude-indicaties" zoals "overbewoning, schijnverhuizing, woongeschiedenis, bewoningspatroon, gezinssituatie en het aantal inschrijvingen op woningen in verhouding tot de oppervlakte".  Deze motie heeft direct geleid tot de ontwikkeling van het algoritme Detectie illegale onderhuur.

Maatschappelijke context – algoritmetransitie

De afgelopen jaren is de maatschappelijke aandacht voor algoritmen toegenomen. Op alle bestuurlijke niveaus is dit zichtbaar: bij de Europese en de nationale wetgever, de wetenschap, adviesorganen van de regering, nationale en decentrale toezichthouders, de media, het Amsterdamse college van B en W en bij de gemeenteraad.  

Er is in het bijzonder veel aandacht voor een soort algoritmen: AI. Volgens de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) is AI niet zomaar een technologie, maar een systeemtechnologie (vergelijkbaar met de uitvinding van elektriciteit, de verbrandingsmotor en de computer) die de samenleving fundamenteel zal veranderen.  Volgens de WRR stonden we in 2021 op een keerpunt: de overgang van het lab naar de samenleving. AI is inmiddels voor een breed publiek toegankelijk, met ChatGPT als bekendste voorbeeld. Daarnaast is er meer aandacht voor algoritmen dan ooit door een aantal incidenten (bijvoorbeeld SyRI ). Deze aandacht komt veelal met het besef dat algoritmen risico's dragen. Dit besef is ook sterk aanwezig bij de Amsterdamse ambtelijke organisatie.

Ook wetgevers zitten niet stil. De Europese Commissie heeft in april 2021 een voorstel gedaan voor een verordening voor artificiële intelligentie (AI). Deze concept-verordening heeft als doel om voor alle algoritmen (dus niet alleen AI) duidelijke regels te geven voor ontwikkeling en toepassing. Met de verordening zullen algoritmen in de EU aan nieuwe regels moeten voldoen. Als de concept-verordening de eindstreep haalt, dan zal het nog een aantal jaar zal duren voordat deze verordening in werking treedt.

Het kabinet heeft uitgewerkt hoe het de digitale transitie, inclusief die van algoritmen, in goede banen wil leiden.  Het kabinet verwacht stevige bijdragen aan economische groei, welvaart en het welzijn van Nederland.  En is van mening dat de toepassing van algoritmen allerlei mogelijkheden biedt om taken beter vorm te geven en uit te voeren. Tegelijk ziet het kabinet risico's bij het gebruik van algoritmen.  Het ministerie van BZK voert daarom acties  uit die moeten bijdragen aan het juiste gebruik van algoritmen door de overheid. Daarnaast investeert de wetgever in het toezicht op algoritmen: in 2023 is de Autoriteit Persoonsgegevens van gestart met het toezicht op de ontwikkeling en het gebruik van algoritmen. 

We denken dat toenemend gebruik van technologie waarbij algoritmen worden ingezet voor Amsterdam onvermijdelijk is . Dit gebeurt in een context van personeelstekorten, een toename van het aantal gemeentelijke taken en verantwoordelijkheden en een verder gaande digitalisering van de samenleving. Het toepassen van algoritmen heeft gevolgen voor de werkwijze van de gemeente en het heeft gevolgen voor de dienstverlening aan haar burgers. Amsterdam staat daarmee net zoals andere organisaties aan het begin van een structurele verandering. Deze overgangsfase, die gekenmerkt wordt door grote veranderingen, noemen we de algoritmetransitie.

Transities gaan gepaard met het omgaan met onzekerheid en risico’s, waarbij de overheid het veranderingsproces niet volledig kan sturen. Volgens de Raad voor het Openbaar Bestuur (ROB) zijn transities complex: vaak is nog niet duidelijk hoe precies het beoogde einddoel wordt bereikt en hoe onderweg problemen moeten worden aangepakt. Dat vraagt volgens de ROB om een overheid die gaandeweg leert (van innovaties), die leren bevordert en die een kritische en nieuwsgierige houding stimuleert. De ROB waarschuwt tegelijkertijd voor een risico-regelreflex en bestuurlijke overreactie bij incidenten. 

De Amsterdamse context

De context omtrent algoritmen is op internationaal, nationaal en lokaal niveau sterk in beweging. Zo werkt de Europese Unie momenteel bijvoorbeeld aan een verordening omtrent kunstmatige intelligentie en is er op nationaal niveau steeds meer aandacht voor algoritmen (waaronder AI). Deze nationale aandacht blijkt bijvoorbeeld uit moties in de Tweede Kamer, onderzoeken van de Algemene Rekenkamer en het vaststellen van een nationale AI-strategie door de regering. In de volgende twee subparagrafen gaan we in op het Amsterdamse beleid en het Amsterdamse beheerskader voor algoritmen.
 

Amsterdams beleid

Het Amsterdamse beleid omtrent algoritmen is vastgelegd in verschillende beleidsstukken (zie figuur 1.1). In deze paragraaf beschrijven we in samenhang het Amsterdamse beleid.

Figuur 1.1 - Amsterdams beleid

De coalitieakkoorden
Zowel het vorige Coalitieakkoord 2018-2022 als het nieuwe Coalitieakkoord 2022-2026 bevat ambities op hoofdlijnen van het gemeentebestuur die algoritmen raken. 

In het akkoord van 2018-2022 worden algoritmen niet specifiek genoemd, maar heeft het gemeentebestuur wel al aandacht voor dataminimalisatie, open data en datarechten. Het gemeentebestuur geeft aan dat er een Agenda Digitale Stad komt (zie volgende paragraaf voor de inhoud van de Agenda Digitale Stad) en dat de zes waarden  uit het Tada manifest zullen worden geïmplementeerd (tada.city).

Het gemeentebestuur heeft in het akkoord van 2022-2026 aandacht voor privacy, digitale rechten, digitale zelfredzaamheid en digitale veiligheid. Concreet geeft het gemeentebestuur aan een algoritmeregister te willen blijven hanteren, en deze vooraf, tijdens en na de ontwikkeling van ICT-systemen, zal testen op integriteit, discriminatie en vooroordelen.

Agenda Digitale Stad
De in 2019 vastgestelde Agenda Digitale Stad bevat de nog steeds geldende ambities van de gemeente Amsterdam met betrekking tot digitalisering. Hierin zijn onder andere de digitale rechten opgenomen die gezamenlijk met andere wereldsteden zijn opgesteld (citiesfordigitalrights.org). Ook bevat de agenda het zogenaamde Tada manifest: de zes waarden met betrekking tot het ontwerpen van een digitale stad. Het college geeft ook aan dat Amsterdam algoritmen wil gaan laten auditen door een onafhankelijke partij. 

Agenda AI: Amsterdamse Intelligentie
De in 2020 vastgestelde Agenda AI bevat de ambities van het college op het gebied van algoritmen, waaronder kunstmatige intelligentie.  Doelen zijn onder andere het zorgen voor interventies die het leven van Amsterdammers verbeteren, de negatieve effecten van digitalisering te beperken en de positieve effecten te versterken. Het college wil de technologie laten werken voor Amsterdammers, door onder meer AI toe te passen op eigen processen van de gemeente, AI-competenties te ontwikkelen en door minder discriminerende en meer transparante algoritmen te realiseren. Daarnaast wil het college het gebruik van algoritmen stimuleren en het economisch potentieel van algoritmen benutten. Daartoe wil het college de samenwerking versterken tussen investeerders, onderzoeksinstellingen, talent en het bedrijfsleven. Ook moet Amsterdam een 'living lab' worden met proeven en toepassingen voor stedelijke vraagstukken. Tegelijkertijd wil het college de digitale rechten van burgers beschermen en meer kansengelijkheid creëren door sociale, economische en ethische kaders voor AI op te stellen en zicht te krijgen op wat AI doet met de stad. 

Datastrategie
In de Datastrategie 2021-2022 (vastgesteld in 2021) heeft het college opgenomen dat Amsterdammers meer zeggenschap krijgen over hun data, en dat Amsterdam gebruik moet maken van kansen die digitalisering biedt om taken beter uit te voeren.  Daarnaast bevat de strategie voornemens met betrekking tot data, zoals het standaard openbaar maken van datasets. Ook is de gemeente samen met de Universiteit van Amsterdam het ‘Civic AI Lab’ gestart (civic-ai.nl). Dat lab onderzoekt hoe AI ongelijkheid in de stad kan tegengaan en hoe kan worden tegengegaan dat AI ongelijkheid vergroot.

Het Amsterdamse beheerskader voor algoritmen

Als onderdeel van de Agenda AI is het college het Programma Algoritme Lifecycle Aanpak gestart. Met de Algoritme Lifecycle Aanpak wil het college meer grip krijgen op de gemeentelijke algoritmen, en deze eerlijker en transparanter maken haar inwoners.  De aanpak bestaat uit zeven instrumenten om algoritmen gedurende hun levenscyclus te kunnen beheren, risico's in te kunnen schatten en te onderzoeken ('auditen'). In ons rapport verwijzen wij naar deze aanpak met 'het Amsterdamse beheerskader voor algoritmen'.

• Algoritmeregister. Sinds 28 september 2020 is er een online algoritmeregister beschikbaar waarin te zien zou moeten zijn welke algoritmen door Amsterdam worden gebruikt, waarvoor ze worden ingezet en hoe ze werken.
• Governancedocument en levenscyclusmodel. In het governancedocument staan vastgelegde taken en verantwoordelijkheden, welke maatregelen getroffen moeten worden om risico’s bij het toepassen van algoritmen te voorkomen, welke informatie gedocumenteerd moet worden en wie verantwoordelijk is als een algoritme niet voldoet aan het beoogde doel. Het levenscyclusmodel beschrijft het proces ofwel 'de levenscyclus' van een algoritme van begin tot eind. De levenscyclus bestaat uit zes fasen (zie figuur 1.2).

Figuur 1.2 – Levenscyclus van een algoritme

Bron: DS&I, Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam, 20 januari 2022.

• Contractvoorwaarden. Sinds november 2020 zijn er contractvoorwaarden vastgelegd waarin staat welke informatie leveranciers van algoritmen met de gemeente moeten delen, zodat de gemeente die informatie vervolgens met Amsterdammers kan delen.
• Handreiking voor bezwaarbehandelaars. Een handreiking voor behandelaars voor het afhandelen van bezwaren, indien het besluit (deels) is gebaseerd op een algoritme.
• Mensenrechtenimpactanalyse(model). Een model om de impact van het gebruik van een algoritme (wat in ontwikkeling of in gebruik is) op de mensenrechten te analyseren en borgende maatregelen te treffen. Naast het interne model mogen ook vergelijkbare externe modellen gebruikt worden. 
• Bias-analyse(model). Een model of standaard dat gebruikt kan worden om eventuele vooringenomenheid in een algoritme of in de gebruikte data op te sporen. Naast het interne model mogen ook vergelijkbare externe modellen gebruikt worden. 
• Audits. Interne onderzoeken waarbij aan de hand van de interne standaarden wordt gekeken of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen. Voor deze audits is een normenkader ontwikkeld.

Het instrumentarium is op 20 januari 2022 vastgesteld door het Gemeentelijk Management Team (GMT). 

Doel en onderzoeksvragen

Met dit onderzoek willen we raadsleden, burgers en andere belanghebbenden inzicht bieden in hoeverre het college van B en W  algoritmen verantwoord toepast. Met 'verantwoord toepassen' bedoelen we in het kort dat het college voldoende rekening houdt met risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast. Voor het onderzoek hanteren we de volgende centrale onderzoeksvraag:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk?

We beantwoorden de centrale onderzoeksvraag door zowel het Amsterdamse beheerskader (het instrumentarium zoals beschreven in paragraaf 1.2) voor algoritmen te onderzoeken, als een selectie van algoritmen individueel te beoordelen.

Voor het onderzoek naar het gemeentelijke beheerskader voor algoritmen beantwoorden we de volgende deelvraag:

Deelvraag 1: In hoeverre draagt het Amsterdamse beheerskader voor algoritmen bij aan de verantwoorde toepassing van algoritmen? 

Met het beantwoorden van deze vraag is het echter niet mogelijk om een uitspraak te doen over de mate waarin individuele algoritmen verantwoord in de praktijk zijn ingezet. Ten eerste omdat het Amsterdamse beheerskader in 2021 en 2022 ontwikkeld is, terwijl algoritmen al jaren in de Amsterdamse praktijk worden toegepast. Ten tweede kan bij het ontwikkelen en onderhouden van algoritmen (on)bewust worden afgeweken van het beheerskader, omdat men niet bekend is met het kader of andere prioriteiten stelt.

Om ook de praktijk te kunnen beoordelen en daaruit lering te kunnen trekken, onderzoeken wij ook drie algoritmen als casus. Van elk onderzocht algoritme leggen we eerst uit waarvoor dat algoritme gebruikt wordt. Hiervoor gebruiken we de volgende deelvraag:

Deelvraag 2: Hoe wordt het algoritme toegepast?

Bij deze deelvraag hanteren we de volgende beschrijvende subdeelvragen:

• Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is bereikt?
• Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast?
• Wat zijn kenmerken van de gebruikte data?
• Wat is de herkomst van de data?
• Wat voor soort algoritme betreft het?
• Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen?
• Zijn er alternatieven overwogen?
• Welke impact op burgers of bedrijven is voorzien?

Anderzijds geven we een oordeel over de mate waarin het geselecteerde algoritme verantwoord wordt ingezet. Hiervoor beantwoorden we de derde en laatste deelvraag:

Deelvraag 3: In welke mate zijn bij de toepassing van het algoritme de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd? 

Aanpak en onderzoeksverantwoording

Met dit onderzoek willen wij antwoord geven op de vraag in hoeverre algoritmen in Amsterdam verantwoord worden toegepast. We hebben het Amsterdamse beheerskader voor algoritmen onderzocht (zie hoofdstuk 2) om een oordeel te geven over de vraag in hoeverre het beheerskader op macroniveau bijdraagt aan het verantwoord toepassen van algoritmen. Daarnaast wilden we onderzoeken welke lessen er kunnen worden geleerd van de toepassing van Amsterdamse algoritmen in de praktijk. We hebben het onderzoek daarom opgedeeld in twee delen: 1) een toets van het Amsterdamse beheerskader, en 2) een casusonderzoek van drie Amsterdamse algoritmen.

De beoordeling van het beheerskader en de beoordelingen bij het casusonderzoek hebben we gedaan aan de hand van het Toetsingskader Algoritmen van de Algemene Rekenkamer. De Algemene Rekenkamer heeft dit kader voorafgaand aan dit onderzoek al toegepast bij twaalf algoritmen bij Nederlandse overheden.  Voor een uitgebreidere toelichting op de keuze voor het kader van de Algemene Rekenkamer verwijzen we naar onze onderzoeksopzet.

Aanpak toets Amsterdams beheerskader voor algoritmen

We hebben het Amsterdamse beheerskader getoetst op basis van een door ons aangepaste versie van het Toetsingskader Algoritmen van de Algemene Rekenkamer (zie bijlage 1). Vier onderzoekers hebben hiervoor elk apart het Amsterdamse beheerskader beoordeeld. Vervolgens hebben we in vijf afzonderlijke sessies (één per thema uit het toetsingskader) onze bevindingen besproken en een gezamenlijk oordeel per toetspunt geformuleerd. Hieruit zijn bevindingen naar voren gekomen over de thema's: 1) sturing en verantwoording, 2) model en data, 3) privacy, 4) IT-beheer en 5) ethiek (paragrafen 2.3 tot en met 2.7). Verder hebben we bevindingen over de totstandkoming en samenhang van het beheerskader (paragraaf 2.1 en 2.2), de kwaliteit van de instrumenten in het beheerskader (paragraaf 2.8) en tot slot bevindingen over de stand van zaken van de afspraken die zijn vastgelegd in het beheerskader (paragraaf 2.9).

Aanpassingen in het kader van de Algemene Rekenkamer
Het normenkader van de Algemene Rekenkamer bestaat uit de perspectieven van 1) sturing en verantwoording , 2) model en data , 3) privacy , 4) IT-beheer  en 5) ethiek. Het normenkader van de Algemene Rekenkamer onderscheidt vanuit het perspectief ethiek vier ethische perspectieven: 1) respect voor de menselijke autonomie , 2) voorkomen van schade , 3) fairness (een eerlijk algoritme)  en 4) verklaarbaarheid en transparantie . Ethiek is verweven in de overige vier perspectieven. Dat wil zeggen dat de ethische principes gekoppeld zijn aan de risico's die zijn geformuleerd vanuit de andere vier perspectieven.  

Het Toetsingskader Algoritmes van de Algemene Rekenkamer hebben we herzien. We hebben 6 van de 63 toetsingsonderdelen laten vervallen.  We hebben hiervoor gekozen omdat het toetsen van deze onderdelen redelijkerwijs niet mogelijk was (bijvoorbeeld 3.10; of er sprake is van discriminatie) , of omdat het toetsingsonderdeel te specifiek was (bijvoorbeeld 2.06; of keuzes in het gebruik van hyperparameters voldoende zijn onderbouwd). 

Van de overgebleven 57 risico’s, onderzoeksvragen en voorbeeldbeheersmaatregelen hebben we er 46 (gedeeltelijk) herzien. In de meeste gevallen is er sprake geweest van ondergeschikte tekstuele wijzigingen. In andere gevallen hebben we bronnen toegevoegd (relevante wetsartikelen) of geactualiseerd (‘BIO’ voor het onderdeel IT-beheer in plaats van ‘BIG’). Voor het casusonderzoek hebben we de formulering van twee ethische principes aangepast: 1) over biases en discriminatie (E3.1), en 2) over het uitleggen van algoritmen (E4.2).  Enerzijds omdat met het toetsingskader van de Algemene Rekenkamer geen uitspraak kan worden gedaan dat er niet wordt gediscrimineerd. Anderzijds omdat wij een uitspraak willen doen of het algoritme al is verklaard en is uitgelegd, in plaats van aan te geven dat het algoritme te verklaren is en uitgelegd kan worden. Voor een compleet overzicht van alle wijzigingen, zie bijlage 1.

Naast de overgebleven 57 risico’s hebben wij ook aan 4 ethische perspectieven getoetst. In totaal hebben we daarmee het beheerskader op 61 onderdelen getoetst.

CODIO en concept-AI-verordening
Voor de toets van het beheerskader hebben we het kader aangevuld met normen uit de Code Goed Digitaal Openbaar Bestuur (CODIO) (zie paragraaf 1.4.2) en de Europese concept-verordening inzake Artificiële Intelligentie (AI) (hierna: de concept-Europese verordening inzake AI) (zie paragraaf 1.4.3). Tevens hebben we voor onze toets van het beheerskader de bevindingen uit het rapport van de Tilburg University gebruikt (zie paragraaf 1.4.4) Deze aanvullingen hebben we niet gebruikt voor het casusonderzoek, omdat deze hiervoor minder geschikt waren (zie paragraaf 1.4.5).

Bespreking met de Commissie Persoonsgegevens Amsterdam (CPA)
In de besloten vergadering van 6 juli 2023 hebben wij een deel van de voorlopige bevindingen met de leden van de Commissie Persoonsgegevens Amsterdam (CPA) besproken. Daarbij hebben wij ook gesproken over de vraag welke interventies helpend zijn voor de gemeente Amsterdam om algoritmen in de toekomst verantwoord toe te passen.

Gebruik van CODIO bij de toets van het beheerskader

Voor de aanvullingen op het kader van de Algemene Rekenkamer hebben we ook normen uit de Code Goed Digitaal Openbaar Bestuur (CODIO) gebruikt.  CODIO is opgesteld door onderzoekers van de Universiteit Utrecht in opdracht van het Ministerie van Binnenlandse Zaken om richting te geven bij een verantwoorde invulling van digitalisering. De onderzoekers baseren CODIO op zes principes, gekoppeld aan zo’n dertig specifieke waarden. Wij hebben CODIO geanalyseerd om vast te stellen waar CODIO aanvullingen met toegevoegde waarde biedt op het kader van de Algemene Rekenkamer en de Europese concept-verordening inzake Artificiële Intelligentie (AI). De volgende vijf normen kwamen hieruit naar voren:

1. Burgerbetrokkenheid: de overheid betrekt burgers actief en in een open gesprek bij besluitvorming rondom, en inzet van, digitale middelen in bestuur.
2. Inclusiviteit: de overheid draagt er zorg voor dat digitale processen toegankelijk zijn voor diverse groepen in de samenleving.
3. Passendheid: de technologie neemt de specifieke behoeftes van verschillende sociale groepen (leeftijd, cultureel, mensen met een beperking en sociaaleconomisch) in acht en zorgt indien nodig voor maatwerk.
4. Duurzaamheid: de negatieve impact - footprint - van de inzet van digitale technologie op natuur en milieu is minimaal.
5. Doelmatigheid: het bestuur maakt de doelen van de digitale technologieën bekend en neemt de beslissingen en maatregelen die nodig zijn om de gestelde doelen met prudent gebruik van financiële middelen te behalen.

Bovenstaande normen hebben wij getoetst in de paragrafen 2.3 tot en met 2.7.

Gebruik van de concept-AI-verordening bij de toets van het beheerskader

De Europese Wet op de Artificiële Intelligentie (hierna: concept-AI-verordening) is een wetgevingsvoorstel van de Europese Commissie dat bedoeld is om een veilig en vertrouwd kader te creëren voor de ontwikkeling en toepassing van artificiële intelligentie (AI) en simpelere algoritmen zoals beslisbomen, binnen de Europese Unie.  De concept-AI-verordening heeft tot doel mensen en andere gebruikers het vertrouwen te geven om op AI-gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen.  Het Europees Parlement heeft met de concept-AI-verordening de doelstelling om mensgerichte en betrouwbare artificiële intelligentie te bevorderen en te zorgen voor een hoge mate van bescherming tegen de schadelijke effecten van AI-systemen op het vlak van gezondheid, veiligheid, grondrechten, democratie, de rechtstaat en het milieu en om innovatie te ondersteunen. 

Voor Nederlandse gemeenten betekent de AI-verordening dat ze bij het ontwikkelen en gebruiken van algoritmen zullen moeten gaan voldoen aan de bepalingen van de verordening. Dit betekent onder andere dat ze moeten zorgen voor transparantie en verantwoording bij het gebruik van algoritmen, en dat ze moeten zorgen voor een doeltreffende en effectieve beheersing van de risico's die verband houden met het gebruik ervan. De nadruk ligt op voorschriften voor hoog risicovolle algoritmen. Wel zijn er stimulansen ingebouwd om deze verplichtingen ook op overige algoritmen toe te gaan passen, zoals met behulp van gedragscodes. 

Ten tijde van het rekenkameronderzoek was de wetgevingsprocedure van de AI-verordening nog in gang. Wij hebben de conceptversies van de Europese Commissie (april 2021), de Raad van Ministers (december 2022) en het Europees Parlement (juni 2023, eerste lezing) geanalyseerd om vast te stellen waar het aanvullingen met toegevoegde waarde biedt op het kader van de Algemene Rekenkamer en CODIO.  Hieruit kwamen de volgende normen naar voren:

Voor hoog risicovolle algoritmen:

• Verplichtingen ten aanzien van technische documentatie;
• Transparantie en informatieverstrekking aan de gebruiker van het algoritme en verplichtingen van ambtelijke functionarissen die het algoritme gebruiken;
• Het uitvoeren van effectbeoordelingen op het gebied van grondrechten  ;
• Menselijk toezicht op algoritmen;
• Recht van getroffen personen op het ontvangen van een duidelijke en zinvolle toelichting bij besluiten. 

Voor overige algoritmen:

• Het duidelijk aangegeven als er sprake is van interactie met een AI-systeem, bijvoorbeeld bij chatbots;
• Overwegen om gedragscodes op te stellen voor andere algoritmen dan hoog risico-algoritmen. 
• Voor test(omgeving)en:
• Het monitoren van (test)resultaten met betrekking tot risico’s rondom de verwerking van persoonsgegevens;
• Het voorkomen van besluiten op basis van data en algoritmen in testomgevingen;
• Het documenteren van het proces en de onderbouwing van het trainen, testen en valideren van het algoritme inclusief de testresultaten;
• Het vernietigen van data (uit de testomgeving) op de juiste momenten;
• Het publiceren van doelstellingen en verwachte resultaten van algoritmen in ontwikkeling;
• Het opstellen van (openbare) rapportages over de uitvoering binnen een testomgeving;
• Het opstellen van regels rondom het testen in reële omstandigheden. 

Paragraaf 2.2.4 bevat onze bevindingen over de vraag of het Amsterdamse beheerskader voldoet aan deze aanvullende normen uit de concept-AI-verordening.

Toets beheerskader Amsterdam door Tilburg University

Naast onze eigen toetsing hebben we het Amsterdamse beheerskader onafhankelijk laten toetsen door een team van vier wetenschappers van Tilburg Law School (Tilburg University). Daarvoor hebben we gevraagd of zij elk vanuit hun eigen achtergrond, kennis en kunde het beheerskader willen beoordelen. De wetenschappers hebben onder andere gebruikgemaakt van juridische inzichten die zijn ontleend aan het privacyrecht, de mensenrechten en het bestuursrecht, maar ook van ethische inzichten die soms verder gaan dan waartoe het geldende recht momenteel verplicht. Op 23 februari 2023 hebben wij het rapport Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen ontvangen. De bevindingen van de onderzoekers van Tilburg University hebben wij betrokken bij het opstellen van dit rapport (met name in paragrafen 2.2 en 2.8). De uitkomsten van het × Download Tilburg University - Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen onderzoek van Tilburg University (23 februari 20213) zijn opgenomen als een afzonderlijke bijlage bij dit rapport en die is zelfstandig leesbaar.

Oorspronkelijk waren wij voornemens om het rekenkamerrapport vóór het zomerreces 2023 openbaar te maken. Toen in mei 2023 bleek dat niet haalbaar was, hebben wij overwogen om het rapport van Tilburg University alvast in juni 2023 openbaar te maken, vooruitlopend op de openbaarmaking van ons rapport Algoritmen na het zomerreces van 2023. Dit met als doel dat het college van B en W de bevindingen uit het rapport van Tilburg University al in een vroegtijdig stadium zou kunnen betrekken bij de verdere ontwikkeling van het Amsterdamse beheerskader voor algoritmen (zie paragraaf 1.2.2).

Na overleg met de ambtelijke organisatie hebben wij ervan afgezien om het rapport van Tilburg University afzonderlijk openbaar te maken. De ambtelijke organisatie gaf er de voorkeur aan dat het rapport van Tilburg University gelijktijdig en als onderdeel van het rekenkamerrapport zou worden gepubliceerd, waarbij het college van B en W in de gelegenheid zou worden gesteld om ook bestuurlijk te reageren op het rapport van Tilburg University.

Toelichting bij casusselectie en aanpak casusonderzoek

Oorspronkelijk wilden we een selectie maken uit een populatie van algoritmen die het Amsterdamse gemeentebestuur toepast op basis van vooraf bepaalde selectiecriteria (zie onze onderzoeksopzet). Tijdens het onderzoek zijn we van deze aanpak afgestapt. We hebben hiervoor gekozen omdat we tijdens het onderzoek constateerden dat de ambtelijke organisatie te weinig algoritmen in beeld had om een selectielijst van algoritmen op te stellen. Het algoritmeregister was beperkt ingevuld. Daarnaast had de ambtelijke organisatie intern ook slechter zicht op algoritmen dan wij van tevoren hadden ingeschat. Zie in dit verband het kader Interne inventarisatie verloopt moeizaam in paragraaf 2.8.1, waarbij wij uiteenzetten hoe wij zelf hebben getracht om een overzicht van algoritmen op te stellen. Bovendien bleek bij navraag ook dat algoritmen die in het verleden werden ontwikkeld of gebruikt, op dat moment niet meer werden gebruikt en er ook geen plannen waren om deze in de toekomst verder te ontwikkelen of te gaan gebruiken. Het betrof hier decision support tool voor toegang tot de maatschappelijke opvang en beschermd wonen (ook bekend als zelfredzaamheidmatrix), waarbij de mate van zelfredzaamheid van een dak- of thuisloze wordt bepaald. En het algoritme voor risicoprofilering voor kindermishandeling.  Van het algoritme GALO, een algoritme dat adviseert over het te nemen besluit op de aanvraag levensonderhoud, gaf de ambtelijke organisatie eind 2022 aan dat dit zou worden uitgefaseerd en dat de aanbesteding voor een nieuw systeem zou lopen. De reden voor ons om het algoritme niet te selecteren. In september 2023 wordt GALO nog gebruikt en wordt gezocht naar een alternatief onder de werktitel ‘Vaststelservices’. 

Tijdens het onderzoek hebben wij daarom gekozen voor een andere selectiemethode. Het eerste algoritme hebben burgers gekozen uit een door ons gemaakte voorselectie van vijf algoritmen.  Van de 509 stemmen kozen er 236 (46,4%) voor het algoritme Detectie illegale onderhuur.   Het tweede algoritme mocht de ambtelijke organisatie zelf selecteren. De ambtelijke organisatie heeft een voorkeur aangegeven voor selectie van een algoritme onder het programma Digitale Gracht. Wij hebben vervolgens daarbinnen het algoritme Detectie illegale passagiersvaart geselecteerd. Het derde algoritme, voor het behandelen van een Bbz-aanvraag (Gripvol) hebben we op eigen initiatief geselecteerd. Daarbij hebben we bewust gekozen voor een ander beleidsterrein dan de twee eerder geselecteerde algoritmen.

Voor het casusonderzoek hebben we vragenlijsten uitgezet, ambtenaren geïnterviewd, de ontvangen reacties en achterliggende documenten beoordeeld en deze beoordeling besproken met de ambtelijke organisatie. De vragenlijst is door ons in een digitaal 'uitvraagformulier' gegoten. Hierin konden de betrokken functionarissen antwoord geven op onze vragen. Daarbij leverden de functionarissen afzonderlijk de documentatie ter onderbouwing van hun antwoorden. Dit is een intensief proces geweest waarbij we de aangeleverde informatie meermaals beoordeeld hebben, gevolgd door een reactie van de betrokken ambtelijke teams die verantwoordelijk zijn voor de selectie of de ontwikkeling van het algoritme. Dat proces verliep als volgt:

• Het uitvraagformulier is eerst doorgenomen en besproken in een brede kennismakingsbijeenkomst tussen ons en het team van het betreffende algoritme. Daarnaast hebben we dit team gevraagd om te beschrijven welke lessen zij hadden getrokken uit het ontwikkelen of het selecteren en werken met het algoritme.
• Daarna had het team vier weken de tijd om het uitvraagformulier te voorzien van een reactie en het verzamelen van de documenten. Tussendoor was er ruimte voor het stellen van vragen aan ons over het uitvraagformulier en hebben we tussentijds korte feedback gegeven op de eerste schriftelijke reacties.
• Vervolgens is het ingevulde uitvraagformulier en de documentatie door ons beoordeeld en voorzien van een voorlopige beoordeling en van aanvullende vragen. Deze voorlopige beoordeling is besproken in een tweede gesprek met het team. Enkele dagen voor het gesprek is onze beoordeling toegestuurd aan het team. Van deze besprekingen zijn gespreksverslagen opgesteld, die terug zijn gelegd voor feitelijk wederhoor.
• Daaropvolgend kreeg het team twee à drie weken de tijd om het ingevulde uitvraagformulier te herzien of aan te vullen en hun antwoorden te voorzien van aanvullende documentatie.
• Daarna hebben we het herziene formulier en de aanvullende documentatie beoordeeld. Ook hebben we in deze fase een concept-oordeel gegeven over het thema ethiek. Het ambtelijk team ontving deze beoordeling een week voorafgaand aan de derde bespreking. Tijdens de bespreking heeft het team ons vragen gesteld over onze oordelen en heeft ons aanvullende informatie verstrekt. Ook na dit gesprek was het voor de teams mogelijk om aanvullende informatie aan ons aan te leveren. Van die mogelijkheid is gebruikgemaakt.
• Na afronding van de drie afzonderlijke beoordelingen, hebben we de drie beoordelingen vergeleken om na te gaan of de feiten op eenzelfde wijze waren beschreven en tot dezelfde oordelen leidden. Dit heeft geresulteerd in het bijstellen van een aantal oordelen en de toelichtingen daarop. De beoordelingen en detailbevindingen per algoritme zijn in bijlagen twee tot en met vier opgenomen.

De bevindingen van het casusonderzoek zijn door ons geanalyseerd op rode draden. Daarbij hebben we onderzocht wat er gemiddeld genomen 'goed' gaat en welke onderwerpen nog aandacht behoeven. In paragrafen 3.2 tot en met 3.6 lichten we dit nader toe. De voorlopige bevindingen die hieruit voortkwamen hebben we op 13 juni 2023 (vóór het moment van feitelijk wederhoor) met medewerkers van de drie teams en medewerkers van de directie DS&I in een groepsgesprek gedeeld en besproken. Daarbij hebben wij specifiek aandacht gehad voor enerzijds de vraag of de ambtelijke organisatie zich in de rode draden herkent. Anderzijds zijn wij met hen in gesprek gegaan over de vraag wat de gemeentelijke organisatie in de toekomst zou helpen bij het toepassen van algoritmen in de praktijk, gegeven onze rode draden. Van deze groepsbespreking is een gespreksverslag opgesteld dat terug is gelegd voor feitelijk wederhoor.

Leeswijzer

Het volgende hoofdstuk richt zich op de toets van het Amsterdamse beheerskader voor algoritmen en de beantwoording van deelvraag 1. In hoofdstuk 3 behandelen we het casusonderzoek en beantwoorden we de deelvragen twee en drie.

Overal waar we hij of zijn schrijven, bedoelen we álle mensen.

Gedetailleerde onderzoeksbevindingen

Het Amsterdamse beheerskader voor algoritmen getoetst

In dit hoofdstuk behandelen we de volgende deelvraag (deelvraag 1):

In hoeverre draagt het Amsterdamse beheerskader voor algoritmen bij aan de verantwoorde toepassing van algoritmen?

Met het Amsterdamse beheerskader voor algoritmen wil het college van B en W meer grip krijgen op de gemeentelijke algoritmen, en deze algoritmen eerlijker en transparanter maken voor de inwoners van Amsterdam.

Een goed beheerskader geeft richting aan en houvast bij de ondersteuning van de praktijk. Ze helpen om de kwaliteit te borgen, doelstellingen te formuleren en afspraken vast te leggen. Dit biedt als voordeel dat niet ieder(e) organisatie(onderdeel) steeds opnieuw het wiel hoeft uit te vinden. Een bruikbaar beheerskader biedt voldoende ruimte voor de werkelijkheid van de praktijk, omdat niet alle mogelijke situaties van tevoren te voorzien zijn. In die zin is een beheerskader begeleidend en faciliterend. Dat betekent overigens niet dat een beheerskader vrijblijvend is. Wel betekent het dat er gemotiveerd van het beheerskader kan worden afgeweken als het realiseren van de doelen daarom vraagt.

Het Amsterdamse beheerskader voor algoritmen draagt in redelijke mate bij aan het verantwoord toepassen van algoritmen door de gemeente. Met 'verantwoord toepassen' bedoelen we dat het college voldoende rekening houdt met risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer, wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast. Positief is dat het beheerskader al deels aansluit op de Europese concept-AI-verordening.

Tegelijkertijd is het beheerskader in ontwikkeling. Om de waarde van het beheerskader voor de gemeente te vergroten, is verdere ontwikkeling nodig. Dit betekent dat de samenhang van de afzonderlijke instrumenten moet worden vergroot en dat de kwaliteit van de afzonderlijke instrumenten moet verbeteren. Ook moet duidelijk worden gemaakt welke doelen worden nagestreefd met het beheerskader. Op dit moment wijken doelen nog onderling van elkaar af. Aan de door ons onderzochte onderdelen van het kader is nog maar beperkt uitvoering gegeven. De waarde van het kader neemt toe als de bekendheid van het kader binnen de ambtelijke organisatie toeneemt, de praktische toepasbaarheid van het kader wordt vergroot, en de ambtelijke organisatie het kader meer gaat gebruiken.

In de volgende paragrafen leest u de gedetailleerde bevindingen met betrekking tot de totstandkoming en samenhang van het Amsterdamse beheerskader voor algoritmen. Daarna volgt onze beoordeling over in hoeverre in het beheerskader aandacht is voor de thema's sturing en verantwoording, model en data, privacy, IT-beheer en ethiek (zie voor de samenvatting figuur 2.1; elk vakje in het figuur is een toetsingsonderdeel) en ons oordeel over de zeven instrumenten van het beheerskader. In de laatste paragraaf zetten we uiteen in hoeverre aangekondigde activiteiten en toegezegde documenten in het beheerskader zijn uitgevoerd respectievelijk zijn opgesteld in juni 2023.

Figuur 2.1 - Beoordeling verantwoorde toepassing Amsterdams beheerskader

Totstandkoming van het beheerskader

Het is belangrijk om te vermelden dat het Amsterdamse beheerskader voor algoritmen in augustus 2023 nog in ontwikkeling is, en dat de bevindingen in dit hoofdstuk daarom in dat licht gelezen zouden moeten worden.

Sinds het Coalitieakkoord 2018-2022, met daarin de ambitie om een Agenda Digitale Stad te formuleren,  is de ambtelijke organisatie actief bezig met de vraag wat voor rol algoritmen, en in het bijzonder Artificiële Intelligentie (AI), zouden kunnen spelen in de gemeentelijke context bij het oplossen van problemen en vraagstukken.  Uit figuur 2.2 blijkt dat het aantal nieuwsartikelen tot en met 2022 groeit op openresearch.amsterdam (online platform van de gemeente) en Tamtam (interne sociale mediakanaal van de gemeente).

Figuur 2.2 – Ambtelijke aandacht voor algoritmen

Bron: Rekenkamer Amsterdam op basis van zoekresultaten voor nieuwsartikelen gepubliceerd tussen 1-1-2016 en 31-12-2022 met de zoekterm “algoritme” op openresearch.amsterdam en Tamtam.

Met de opkomst van algoritmen groeide binnen de ambtelijke organisatie de behoefte aan standaarden waaraan gemeentelijke algoritmen moesten voldoen, en de behoefte aan hulpmiddelen om algoritmen te verbeteren of om de afweging te maken om algoritme zelf te ontwikkelen of in te kopen.  Instrumenten geïnitieerd vanuit het Rijk, zoals het Impact Assessment Mensenrechten en Algoritmes (IAMA), kwamen pas beschikbaar nadat de interne instrumenten waren aangeboden aan de ambtelijke organisatie. Bij gebrek aan bruikbare instrumenten hanteerde de ambtelijke organisatie vanaf 2018 een strategie waarbij initiatieven die in de organisatie opkwamen in het kader van algoritmen vrijwel altijd werden ondersteund.  De gezegden 'laat duizend bloemen bloeien' en 'leren door te doen' karakteriseerden deze aanpak, aldus een betrokken functionaris. 

Als onderdeel van de Agenda Amsterdamse Intelligentie en de Agenda Digitale Stad heeft de ambtelijke organisatie de Algoritme Lifecycle Aanpak ontwikkeld. Dit met als doel om meer grip te krijgen op en transparantie te creëren in de door Amsterdam gebruikte algoritmen. De eerste opdrachtomschrijving van dit programma (maart 2020) was om een kwaliteitsraamwerk te ontwikkelen dat ondersteunend zou zijn bij het ontwikkelen van "een samenhangend beleid voor algoritmen". 

Binnen de Algoritme Lifecycle Aanpak werkt de ambtelijke organisatie aan zeven verschillende instrumenten om het gebruik van algoritmen eerlijker en helderder te maken voor de inwoners van Amsterdam. Deze instrumenten worden ingezet om algoritmen tijdens hun levenscyclus te kunnen beheren, risico’s in te schatten en te auditen.  Deze instrumenten zijn op initiatief van de toenmalige afdeling CIO-office voorgedragen aan het GMT ter vaststelling, en door het GMT vastgesteld op 20 januari 2022.

In dit rapport noemen wij de Algoritme Lifecycle Aanpak inclusief de zeven instrumenten 'het Amsterdamse beheerskader voor algoritmen'.

Samenhang van het beheerskader

Een beheerskader kan de ambtelijke organisatie meerwaarde bieden bij het toepassen van algoritmen, maar daar zijn wel voorwaarden aan verbonden. De belangrijkste voorwaarde is dat het beheerskader een samenhangend geheel vormt. Hieronder verstaan we dat het beheerskader overzichtelijk, helder en praktisch is. Dit behelst dat de verhoudingen en de hiërarchie van de afzonderlijke onderdelen duidelijk is.

In deze paragraaf beschrijven we onze bevindingen met betrekking tot de samenhang van het Amsterdamse beheerskader voor algoritmen. Het Amsterdamse beheerskader bestaat uit de zeven instrumenten zoals beschreven in paragraaf 1.2.2. Een overkoepelende bevinding is dat de documenten samen een soort lappendeken vormen, waarbij de verhoudingen tussen en de hiërarchie van de afzonderlijke onderdelen van het beheerskader niet duidelijk zijn.  Deze bevinding wordt in de navolgende paragrafen verder uitgewerkt.

Niet helder welke doelen worden nagestreefd met beheerskader

In juli 2021 geeft het college van B en W aan met het beheerskader voor algoritmen meer grip te willen krijgen op de gemeentelijke algoritmen, en deze eerlijker en transparanter te maken voor haar inwoners.  In december 2022 wordt daaraan toegevoegd dat het beheerskader ook tot doel heeft om de democratische waarden van een rechtstaat zeker te stellen. 

Desgevraagd heeft de ambtelijke organisatie aangegeven (juni 2023) dat met het Amsterdamse beheerskader voor algoritmen zeven doelen worden nagestreefd. Deze zijn, om: 

1. tot een samenhangend beleid en tot beleidsinstrumenten voor algoritmen te komen, waarbij de levenscyclus van een algoritme als leidraad wordt gebruikt;
2. toepassingsregels te bieden waarmee medewerkers weten hoe ze moeten handelen ten aanzien van algoritmen;
3. houvast te bieden bij het beoordelen van algoritmen op het risicoprofiel;
4. houvast te bieden bij de toetsing of sprake is van een algoritme in de zin van de stedelijk vastgestelde definitie;
5. transparantie en houvast te bieden aan Amsterdammers, leveranciers en ketenpartners over de manier waarop de gemeente Amsterdam met algoritmen omgaat;
6. rechten en plichten te expliciteren, en
7. te kunnen voldoen aan de wettelijke eisen en collegedoelstellingen rondom algoritmen.

Deze doelstellingen zien wij niet een-op-een terug in de zeven instrumenten van het beheerskader. Daarnaast zijn in het document Jaarplan 2023 Algoritme Lifecycle de te realiseren doelen, de daarvoor te ondernemen activiteiten en de beoogde resultaten voor 2023  beschreven.  Ons valt op dat in het jaarplan vijf doelen worden genoemd, die qua formulering en inhoud afwijken van de zeven doelen die met het beheerskader worden beoogd.

Beheerskader nog niet overzichtelijk genoeg

Het is belangrijk om een duidelijk overzicht te hebben van alle onderdelen van het beheerskader, zodat ambtenaren die aan de slag willen gaan met algoritmen weten wat er van hen verwacht wordt. Wanneer de samenhang en het overzicht ontbreken, kan dit leiden tot verwarring, inefficiëntie en onrechtmatig handelen bij het toepassen van algoritmen. Het is daarom belangrijk om ervoor te zorgen dat het beheerskader een duidelijke structuur heeft en dat alle onderdelen goed op elkaar aansluiten, zodat de ambtelijke organisatie doeltreffend, doelmatig en rechtmatig kan werken.

Samenhang tussen instrumenten kan duidelijker
De zeven instrumenten van het Amsterdamse beheerskader voor algoritmen zijn voor het eerst beknopt beschreven in de raadsbrief van juli 2021.  In december 2022 zijn de zeven instrumenten begrijpelijk en in meer in samenhang beschreven in het document Controle op algoritmen. Aanpak en instrumenten voor verantwoording algoritmegebruik in Amsterdam (december 2022).  Daarnaast is op het gemeentelijk intranet inzichtelijk gemaakt hoe de zeven instrumenten zich verhouden tot de drie fasen die het algoritme kan doormaken: de onderzoekfase, de ontwikkelfase en de beheerfase (zie figuur 2.3).  In december 2022 geeft de gemeente aan dat het belangrijk is om instrumenten te stroomlijnen, om administratieve regeldruk te voorkomen. 

Figuur 2.3 - Koppeling instrumenten aan de fasen van het algoritme

Bron: Gemeentelijk intranet, onderdeel algoritmen, geraadpleegd op 20 juni 2023.

Ondanks deze ontwikkelingen is er nog geen sprake van één samenhangend beheerskader, omdat:

• er onvoldoende is toegelicht hoe het beheerskader als geheel gebruikt moet (of kan) worden;
• het niet duidelijk is welke onderdelen van het beheerskader verplicht zijn en welke onderdelen facultatief of als handreiking bedoeld zijn;
• de status, de datum en het versienummer van de stukken niet helder zijn en niet zijn af te leiden uit de stukken (vastgesteld of niet);
• niet alle stukken definitief en afgerond zijn. Zo zijn stukken voorzien van het label 'concept', bevatten ze verouderde informatie (bijvoorbeeld verwijzingen naar de Wob in plaats van de Woo), of staan delen die zijn opgenomen de inhoudspagina, niet daadwerkelijk in het stuk.

Onduidelijk welke instrumenten tot het beheerskader behoren

Een voorbeeld van de onduidelijkheden rondom het beheerskader is de tool "Afwegingskader en risicoanalyse", dat als instrument niet is vastgesteld door het GMT, maar wel intern wordt aangehaald als instrument dat tot het beheerskader behoort.  Onduidelijkheid over de status maakt dat het instrument mogelijk niet gebruikt wordt in de mate die het zou verdienen (zie kader Afwegingskader: concreet, maar beperkt in toepassing).

De ambtelijke organisatie geeft aan dat zowel nieuwe als reeds in productie genomen algoritmen aan bovengenoemde risicoanalyse worden onderworpen.  Bij algoritmen met een hoog risico volgt een verdiepende fase waarin “nog beter nagedacht wordt” of het algoritme überhaupt ingezet dient te worden en zo ja, hoe de risico’s zoveel mogelijk te mitigeren zijn.   Dit gebeurt “bijna altijd” in overleg tussen de lijn, de privacy officer en het algoritmeteam, aldus de ambtelijke organisatie. Verder geeft de ambtelijke organisatie aan dat de tool wordt gebruikt als hulpmiddel, waarbij alleen het resultaat wordt vastgelegd, en niet de tussenstappen. Als het overleg voltooid is, dan volgt een verdiepende risicoanalyse.  Omdat het overleg tussen de verschillende partijen niet gedocumenteerd wordt, komen de afwegingen om bijvoorbeeld een algoritme te classificeren als hoog of laag risico niet expliciet terug, aldus de ambtelijke organisatie.  Van vijf algoritmen met een hoog risico – die ook zijn opgenomen in het algoritmeregister – werden ons onder meer DPIA’s en Quickscans over informatiebeveiliging ter beschikking gesteld.  Uit de door ons ontvangen informatie blijkt dat de risicoanalyse zich veelal beperkt tot risico’s rondom privacy en informatiebeveiliging. Alleen bij het algoritme Onderzoekswaardigheid ‘Slimme Check’ zijn ook risicoanalyses uitgevoerd rondom mensenrechten (IAMA) en is de Kunstmatige Intelligentie Impact Assessment uitgevoerd (zie uitgebreid paragraaf 2.8.5). Voor dit algoritme zijn ook adviezen gegeven door de Participatieraad Amsterdam, de Commissie Persoonsgegevens Amsterdam en door Deloitte.  We constateren dat bij de overige algoritmen niet is gemotiveerd en gedocumenteerd waarom dit soort analyses niet zijn uitgevoerd.

Zie paragraaf 3.3 van het rapport van Tilburg University over het × Download Tilburg University - Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen Amsterdamse beheerskader (bijlage 6) voor een uitgebreide analyse van de onderlinge samenhang van de zeven instrumenten in het Amsterdamse beheerskader.

Verschillende definities zorgen voor onduidelijkheid

Het college van B en W (december 2022) geeft aan dat er geen eenduidige definitie van 'algoritme' bestaat.   De ambtelijke organisatie wacht op de rijksoverheid voor een bruikbare en heldere definitie voor het woord 'algoritme'.  Tot die tijd hanteert Amsterdam - naar eigen zeggen - een eigen definitie. Amsterdam hanteert echter vier verschillende definities (zie tekst hieronder). Dit bemoeilijkt de realisatie van het vierde doel (zie paragraaf 2.2.2): houvast bieden bij de toetsing of sprake is van een algoritme in de zin van de stedelijk vastgestelde definitie.

Amsterdam hanteert vier verschillende definities
In het document Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam (hierna: governancedocument) , dat onderdeel is van het beheerskader en in de raadsbrief van april 2023 , wordt de volgende definitie gehanteerd voor algoritmen:

Definitie 1: "Software die - door gebruik van data-analyse, statistiek of zelflerende logica - geautomatiseerd voorspellingen doet, beslissingen neemt of adviezen geeft die leiden tot beslissingen van de gemeente die bestuursrechtelijk, privaatrechtelijk en/of feitelijk van aard zijn en die direct of indirect één of meer burgers van de gemeente, bezoekers van de gemeente of bedrijven of andersoortige instellingen in aanmerkelijke mate treffen.” 

Een tweede definitie komt in andere gemeentelijke documenten voor, waaronder een raadsbrief (juli 2021) , een presentatie bij een GMT-voordracht, de openbare Handreiking Controle op algoritmen en de Quality Assurance Acceptatiecriteria.  Deze definitie staat sinds februari 2022 ook op intranet en wordt actief gecommuniceerd tussen ambtenaren. 

Deze definitie betreft een samengevatte versie van de voornoemde definitie, omdat het laatste deel van de eerste definitie (vanaf: "[…] die leiden tot beslissingen […] in aanmerkelijke mate treffen") wordt samengevat tot "impact op burgers of bedrijven". De tweede definitie luidt als volgt:

Definitie 2: “Software die door gebruik van data-analyse, statistiek of zelflerende logica geautomatiseerd voorspellingen doet, beslissingen neemt of adviezen geeft die leiden tot impact op burgers of bedrijven.” 

In de openbare Handreiking Controle op algoritmen (december 2022) is het volgende toegelicht: “de definitie is breed en tegelijk precies. Binnen deze definitie passen zowel simpele rekenmodellen als ‘machine-learning-modellen’ en andere vormen van kunstmatige intelligentie (ook wel ‘Artificial Intelligence’ of AI genoemd). We nemen zo’n algoritme op in het Algoritmeregister als we het gebruiken bij een activiteit met invloed op burgers of bedrijven. En dan gelden ook de andere instrumenten.” 

De derde definitie staat in de gemeentelijke contractvoorwaarden. De definitie van de ambtelijke organisatie voor algoritmen wordt gesplitst in een definitie voor een ‘algoritmische toepassing’ en een ‘besluit’ . De definitie van ‘algoritmische toepassing’ luidt als volgt:

Definitie 3: “Software waarmee op geautomatiseerde wijze voorspellingen worden gedaan, beslissingen worden genomen en/of adviezen worden gegeven door gebruik te maken van data-analyse, statistiek en/of zelflerende logica.” 

De vierde definitie die in het gemeentelijk algoritmeregister staat, is het breedst van opzet. De definitie heeft ook het grootste externe bereik, omdat het algoritmeregister de plaats is om te zoeken naar Amsterdamse algoritmen en de gehanteerde definitie. Volgens de ambtelijke organisatie is de definitie op advies van de afdeling Communicatie versimpeld om de begrijpelijkheid te vergroten. 

Definitie 4: “Een algoritme is een vooraf bepaalde set regels of stappen die door de computer gevolgd worden.” 

Onder deze definitie vallen alle geautomatiseerde logica, waaronder computerprogramma's inclusief de regels in bijvoorbeeld Excel-sheets op gemeentelijke websites.

In de feitelijke reactie op dit rapport (september 2023) heeft de ambtelijke organisatie aangegeven dat het de definitie op korte termijn zal herzien in lijn met de Europese concept-AI-verordening. 

Definitie uit het algoritmeregister komt het meest overeen met die van het Rijk
Tussen de definities van de ambtelijke organisatie zijn enkele verschillen en gelijkenissen te bemerken. De definities verschillen op de methode die het algoritme gebruikt, de vorm van de uitkomst van het algoritme, de mate van geautomatiseerd handelen en de reikwijdte van de impact van het algoritme.

De eerste drie gemeentelijke definities komen overeen op het punt van specificatie van de technieken. De vierde definitie (die uit algoritmeregister) wijkt daarvan af, maar vertoont grote gelijkenissen met die van het Landelijke Algoritmeregister en de definitie die het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) en de Algemene Rekenkamer hanteren: “Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.”  Zie kader Verschillen en gelijkenissen tussen definities Amsterdam.

Verschillende definities leiden tot onduidelijkheid en discussie
Wij hebben tijdens het onderzoek in gesprekken met ambtenaren ervaren dat het ontbreken van één heldere definitie leidt tot onduidelijkheid en discussies binnen de ambtelijke organisatie over de vraag of een ‘model’, ‘tool’ of een ‘geautomatiseerd formulier’ nu wel of geen algoritme betreft, of het wel of niet wel in het algoritmeregister moet worden vermeld en of het beheerskader wel of niet van toepassing is. Deze discussies worden mede gevoed doordat onderdelen van de verschillende definities (‘data-analyse, statistiek of zelflerende logica’ en ‘geautomatiseerde wijze’) verschillend uitgelegd kunnen worden.

Negatieve connotatie van algoritmen
Ook hebben wij ervaren dat ambtenaren en leveranciers liever niet willen dat bepaalde 'modellen' of 'tools' worden geassocieerd met de term 'algoritme'. 'Algoritmen' zouden mede vanwege de negatieve aandacht in de media door SyRI en de Toeslagenaffaire een negatieve connotatie hebben. Ambtenaren geven ook aan dat de aanvullende eisen rondom algoritmen kunnen leiden tot extra werk(druk) en innovatie kunnen belemmeren.  De toelichting bij de concept-AI-verordening bevestigt dat het ontwikkelen, gebruik en het onderhouden van een algoritme (jaarlijks) middelen van organisaties (zoals de Amsterdamse ambtelijke organisatie) vergt.  

Beheerskader sluit deels aan op Europese concept-AI-verordening

Het Amsterdamse beheerskader voor algoritmen is ontworpen met de Europese concept-AI-verordening in het achterhoofd.  Hoewel de verordening 'AI' (kunstmatige intelligentie) in de naam heeft, is deze verordening ook van toepassing op minder complexe algoritmen en op algoritmen zonder AI. 

Het is belangrijk om te benadrukken dat de concept-AI-verordening nog in ontwikkeling is en ook na het vaststellen van het Amsterdamse beheerskader voor algoritmen nog is gewijzigd. Het is nog niet zeker wanneer en in welke vorm de verordening in werking zal treden.  Zodra de verordening van toepassing wordt, zal Amsterdam zich daaraan moeten houden. 

Beheerskader sluit aan op Europese risicoindeling
Wat vooral opvalt, is de aansluiting van het Amsterdamse beheerskader voor algoritmen op de Europese classificatie van 'hoog risico' algoritmen. De nadruk in de concept-AI-verordening ligt namelijk op voorschriften voor hoog risico-algoritmen.  In artikel 6 is geclassificeerd wat onder een hoog risico AI-systeem wordt volstaan. Er moet aan twee voorwaarden worden voldaan: 1. het algoritme moet onder een van de toepassingsgebieden  vallen (uit bijlagen II of III ) en 2. er moet sprake zijn van een risico op het gebied van gezondheid, veiligheid, gezondheid, grondrechten of (eventueel) milieu.  De concept-AI-verordening bevat ook een sectie over verboden AI-praktijken , waarmee rekening wordt gehouden in de Amsterdamse risicoanalysetool voor algoritmen (zie paragraaf 2.2.1). Het gaat daarbij om risico’s die onaanvaardbaar worden geacht. 

Het Amsterdamse beheerskader leunt op de risico-indeling van de concept-AI-verordening. Het gevolg van het hanteren van de risicogerichte methode is dat voor hoog risico-algoritmen hogere eisen gelden. Dit is zowel een sterk als een zwak punt. Sterk, omdat dit een efficiëntere beheersing en werkwijze kan opleveren. En zwak, omdat bijvoorbeeld door het ontbreken van voorschriften voor de overige typen algoritmen risico’s over het hoofd kunnen worden gezien en er minder transparantie richting burgers is vereist. De concept-AI-verordening bevat bepalingen over gedragscodes, waarmee de toepassing van de strengere voorschriften op minder risicovolle algoritmen wordt gestimuleerd, zodat ook die voldoen aan de beginselen van de verordening. 

Op onderdelen sluit het beheerskader voldoende aan
Verder valt het op dat het beheerskader al voldoende aandacht heeft voor de volgende punten uit de concept-AI-verordening:

• Het monitoren van (test)resultaten;
• Het vernietigen van data (uit de testomgeving) op de juiste momenten;
• Verplichtingen ten aanzien van technische documentatie;
• Transparantie en informatieverstrekking aan en verplichtingen van ambtelijke functionarissen die het algoritme gebruiken;
• Menselijk toezicht op algoritmen.

Op andere onderdelen sluit het beheerskader nog niet helemaal aan
Daarnaast zijn er nog een aantal verbeterpunten, zodat het beheerskader beter aansluit op de eisen die de concept-AI-verordening stelt. Er is namelijk momenteel nog geen aandacht voor het aan burgers laten weten dat zij communiceren (‘interageren’) met een AI-systeem, bijvoorbeeld wanneer een chatbot wordt toegepast. Verder is het recht op een duidelijke en zinvolle toelichting voor de bezwaarfase uitgewerkt, maar is deze transparantie bij het primaire besluit nog gebrekkig (zie de paragrafen 2.4 en 2.8.4).  Voor het uitvoeren van de verplichte effectbeoordeling op grondrechten is maar zeer beperkt aandacht in het beheerskader.  Deze beoordeling zou kunnen worden uitgevoerd met behulp van de IAMA, maar uit het beheerskader blijkt nog niet dat het IAMA standaard moet worden uitgevoerd. Vanaf begin 2023 heeft het college aangegeven dat de IAMA verplicht moet worden uitgevoerd en in juni 2023 heeft de ambtelijke organisatie besloten om over te stappen op het IAMA (zie paragraaf 2.8.5).

Verder heeft het kader geen aandacht voor sommige verplichtingen rondom het testen van algoritmen in een testomgeving of in reële omstandigheden, net als wat daarover moet worden gedocumenteerd.  Zo is er geen aandacht voor het voorkomen van maatregelen en besluiten die (per ongeluk) worden genomen op basis van data en algoritmen in testomgevingen. Ook ontbreekt nog de verplichting in het kader om de doelstellingen van algoritmen in ontwikkeling en verwachte resultaten ervan openbaar te publiceren.  Daarnaast is er nog geen aandacht voor het opstellen van een openbaar jaarverslag over de testomgeving en verslagen bij de overgang van het algoritme van de testomgeving naar de productieomgeving.  Tot slot besteedt het Amsterdamse beheerskader geen aandacht aan het opstellen van gedragscodes voor algoritmen zonder hoge risico’s. 

Aandacht voor sturing en verantwoording

Om te kunnen sturen op hetgeen het gemeentebestuur wil bereiken en zich naar binnen en buiten toe te kunnen verantwoorden over wat hij doet en waarom, legt het college afspraken vast (vandaar: sturing en verantwoording). Dit soort afspraken kunnen gaan over het doel van het algoritme, de afweging om het algoritme in te zetten, het betrekken van burgers, de rollen en verantwoordelijkheden, het managen en documenteren van verschillende fasen van het algoritme, risico-afwegingen bij het gebruik van het algoritme en afspraken met externe partijen over bijvoorbeeld aansprakelijkheid.

In grote lijnen is het Amsterdamse beheerskader voor algoritmen toereikend op het gebied van sturing en verantwoording. Het Amsterdamse beheerskader heeft voldoende aandacht voor het:

• vastleggen van beoogde doelen van algoritmen [1.01] ;
• op vaste (periodieke) momenten een afweging plaats laten vinden van de risico's van het gebruik van (specifieke) algoritmen [1.02];
• beschikbaar stellen van voldoende deskundigheid, zowel kwantitatief als kwalitatief [1.03];
• op verschillende niveaus beschrijven en vastleggen van verschillende rollen, taken, verantwoordelijkheden en bevoegdheden van Amsterdamse functionarissen die in enige mate verantwoordelijk zijn voor algoritmen [1.05];
• vastleggen van een aanpak voor het monitoren van kwaliteits- en prestatiedoelstellingen van algoritmen en het monitoren daarvan [1.06 en 1.08];
• vastleggen van afspraken bij aanbestedingen van onderdelen of activiteiten met betrekking tot algoritmen [1.07].

Daarmee is er voldoende aandacht voor zeven van de acht toetsingsonderdelen binnen het thema sturing en verantwoording.

Tegelijkertijd heeft het beheerskader nog te weinig aandacht voor het actief betrekken van burgers, inclusiviteit en passendheid bij besluitvorming rondom en inzet van digitale middelen in bestuur. Er is wel aandacht voor communicatie naar burgers omtrent de inzet van algoritmen, maar dat blijft vooral bij 'zenden'. Burgers worden daarnaast om feedback gevraagd wanneer het algoritme gepubliceerd is in het algoritmeregister. Over betrokkenheid en inclusie van (bepaalde groepen) burgers bij het ontwikkelen van algoritmen zegt het beheerskader vrij weinig, tenzij de burger de eindgebruiker is van het algoritme. Maar wanneer ambtenaren de eindgebruikers zijn, en het algoritme gebruikt wordt voor beslissingen die burgers kunnen raken, vraagt het kader niet expliciet om burgers te betrekken en om aandacht te hebben voor behoeftes van specifieke groepen. Bij de evaluatie van de ‘ethische toetsing van technologische toepassingen’ binnen de gemeente (juni 2023) geeft het college aan dat ze belanghebbenden meer wil gaan betrekken en meer diverse perspectieven wil meenemen. 

In het beleid voor digitalisering (het 'I-beleid'), dat geen deel uitmaakt van het beheerskader, is wel aandacht voor burgerbetrokkenheid (zie kader).

Het documenteren van de complete levenscyclus van het algoritme, van start tot eind, gaat nog niet goed. Amsterdam heeft wel een model ontwikkeld voor het in kaart brengen van de verschillende fases waarin een algoritme zich kan bevinden ('het levenscyclusmodel'; zie onderstaande figuur), maar het beheerskader vraagt niet expliciet om elke fase van het proces per algoritme te documenteren.

Figuur 2.4. Het 'levenscyclusmodel' van de gemeente Amsterdam

Bron: Directie Digitale Strategie en Informatie, Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam, 20 januari 2022.

Zonder goede documentatie gedurende de hele levenscyclus van het algoritme is het algoritme niet goed (tussentijds en achteraf) te evalueren en te rechtvaardigen.  Het kan er ook voor zorgen dat achteraf niet meer (aan een toezichthouder) kan worden uitgelegd om welke redenen bepaalde beslissingen en keuzes met betrekking tot een algoritme zijn gemaakt. Ook de Europese concept-AI-verordening vereist documentatie van 'hoog risico-algoritmen' (zie kader voor uitleg) nog voordat ze in gebruik worden gesteld. 

Tot slot heeft het Amsterdamse beheerskader beperkt aandacht voor duurzaamheid en doelmatigheid. In haar advies over de opvolging van het raadsinitiatief Grip op Technologie (maart 2023) schrijft de CPA dat kunstmatige intelligentie getraind moet worden met data om het algoritme zijn werk te laten doen. Het benodigde energieverbruik daarvan kan een grote impact op het milieu hebben. 

Daarnaast is het nuttig om expliciet af te wegen of beslissingen doelmatig (efficiënt) zijn. Voegt een algoritme iets toe tegenover traditionele methoden? Zijn er niet andere maatregelen mogelijk om hetzelfde of meer te bereiken? Is inkopen of zelf ontwikkelen efficiënter? Dit zijn zaken waarvan we verwachten dat het Amsterdamse beheerskader er aandacht aan zou besteden.

Aandacht voor model en data

Het onderdeel model en data gaat onder meer over de vraag of het Amsterdamse beheerskader voldoende aandacht heeft voor de kwaliteit van de data en de ontwikkeling, het gebruik en het onderhoud van het model onderliggend aan het algoritme.  Belangrijk daarbij is het uitvoeren van controles om de juiste werking van het algoritme te kunnen garanderen.  Ook is het in het kader van model en data belangrijk dat het beheerskader waarborgen stelt om eventuele vooroordelen in de gebruikte data en in het model te voorkomen (zie kader Wat is bias), dat er niet meer gegevens worden verzameld dan nodig is om het beoogde doel van het algoritme te bereiken (dataminimalisatie) en dat de output van het model wordt getoetst. 

We zien dat het Amsterdamse beheerskader voor betreft het model en de data voldoende aandacht heeft voor:

• het duidelijk formuleren van het doel van het algoritme en dat het algoritme functioneert in lijn met de geformuleerde doelstelling(en) [2.01];
• het doel van het algoritme inzichtelijk en uitlegbaar is en gedeeld wordt door de eigenaar, ontwikkelaar en gebruiker van het algoritme [2.02A en 2.02B];
• het maken van een afweging tussen de uitlegbaarheid van het model en de prestatie van het model [2.03];
• de externe communicatie over het model en het publiceren en beschikbaar stellen van het model (code en werking) en (een beschrijving van) de gebruikte data voor belanghebbenden [2.06 en 2.21];
• het betrekken van de verschillende interne stakeholders/eindgebruikers van het algoritme in het ontwikkelingsproces (specifiek voor het betrekken van burgers is minder aandacht) [2.08];
• het vastleggen van toegepaste controles om de aansluiting te maken tussen de invoer (data) en de uitvoer (resultaat) om zo de juistheid en volledigheid van de verwerking te garanderen [2.09];
• het model periodiek actualiseren, zodat het in lijn blijft met actuele wet- en regelgeving [2.10];
• het waarborgen van de kwaliteit van de data en het gescheiden verwerken van trainings-, test- en/of validatiedata [2.11 en 2.14];
• het waarborgen dat er geen bias wordt gecreëerd door keuzes met betrekking tot het model [2.12];
• het waarborgen dat de data representatief zijn en geen onwenselijke bias bevat [2.13 en 2.15];
• dat de gemeente (volledige) controle en beheersing (eigenaarschap) heeft over de gebruikte data voor het model [2.16];
• het documenteren van de kwaliteit van het model (voor hoog risico-algoritmen, niet voor andere algoritmen) [2.18];
• het borgen dat de kwaliteit van de resultaten op orde is en de output van het model gemonitord wordt [2.19 en 2.20];
• de onderhoud en beheer op het algoritme [2.22].

Daarmee is er aandacht voor negentien van de drieëntwintig toetsingsonderdelen binnen het thema model en data.

Er zijn echter ook onderdelen waarvoor in het beheerskader minder aandacht is. Zo vraagt het beheerskader weliswaar voor hoog risico-algoritmen dat (de gemaakte keuzes en gehanteerde aannames van) het ontwerp en de implementatie van het algoritme gedocumenteerd worden, maar wordt er geen aandacht gegeven voor de documentatie van model en code bij niet-hoog risico-algoritmen. Hierdoor loopt men het risico dat niet bij alle algoritmen kan worden herleid waarom welke keuzes zijn gemaakt in het model en de code van het algoritme. Een ander risico voor het ontbreken van deze documentatie van het model en de code is dat de continuïteit van het proces en de uitvoering van werkzaamheden in geding komt.

Er is in het geval van niet-hoog risico-algoritmen nog te weinig aandacht voor geldende transparantie-eisen die volgen uit de bestuursrechtelijke AERIUS-jurisprudentie. Deze transparantie-eisen houden in dat het college of de burgemeester, wanneer er sprake is van geautomatiseerde besluitvorming, de gemaakte keuzes, gebruikte gegevens en aannames uit eigen beweging volledig, tijdig en op passende wijze openbaar moeten maken.   Het rapport van de Tilburg University (2023) maakt duidelijk dat het steeds complexer wordt om geautomatiseerde en handmatige stappen in besluitvorming van elkaar te onderscheiden. Bovendien duiden ontwikkelingen in de rechtspraak erop dat de bestuursrechter steeds meer gewicht toekent aan een begrijpelijke en inzichtelijke motivering van besluiten.  Het College voor de Rechten van de Mens (2023) pleit voor een wettelijke plicht tot transparantie bij individuele besluiten die burgers rechtstreeks raken, wanneer het algoritme is gebruikt om tot een besluit te komen, zodat burgers uit het besluit kunnen opmaken of er een algoritme is gebruikt en zich tegen eventuele discriminatierisico’s kunnen verdedigen.  Ook is in de concept-AI-verordening door het Europese Parlement een amendement toegevoegd over het recht op een duidelijke en zinvolle toelichting wanneer een besluit mede op basis van een hoog risico-algoritme is genomen. En acht het Europese Parlement het wenselijk dat burgers worden geïnformeerd als het algoritme op hen wordt toegepast. 

Gezien deze ontwikkelingen achten wij het zeer wenselijk dat het college net zo open is over de rol van het algoritme in de besluitvorming als het besluit is gemaakt door een mens op basis van een advies of informatie die uit een algoritme volgt, als wanneer er sprake is van geautomatiseerde besluitvorming. Het risico dat de gemeente loopt wanneer ze dit niet doet, is dat besluiten die voortkomen uit algoritmen onvoldoende gemotiveerd en transparant zijn. Uit een gesprek met medewerkers van de ambtelijke organisatie blijkt dat ze belang hechten aan een goed gemotiveerd besluit, maar dat zij er niet van overtuigd zijn dat het daarvoor nodig is om te vermelden van welke tool zij gebruikt hebben gemaakt om tot de beslissing te komen. Een ander deel van de medewerkers ziet de toegevoegde waarde voor betrokkenen wanneer in het besluit wordt vermeld welke informatie is gebruikt en hoe deze is gewogen om tot het besluit te komen. 

Tot slot heeft het beheerskader bij het uitgangspunt dataminimalisatie enkel aandacht voor de proportionaliteit van de dataverzameling en -verwerking. Proportioneel betekent in dit geval dat de inzet van een algoritme effectief en efficiënt is ten opzichte van het beoogde doel en dat niet meer persoonsgegevens mogen worden verwerkt dan voor het doel noodzakelijk is.  Met andere woorden: of het algoritme zijn doel niet voorbijschiet, en of er niet minder (of minder gevoelige) gegevens kunnen worden gebruikt. Het is niet duidelijk of daar ook een expliciete afweging wordt gemaakt als het gaat om subsidiariteit. Subsidiair betekent dat het doel niet op een minder ingrijpende wijze kan worden bereikt (door minder of geen persoonsgegevens te verwerken), bijvoorbeeld door een ander middel in te zetten dan een algoritme of een ander soort algoritme in te zetten.  Met andere woorden: 'kan het niet wat minder?'

De Europese concept-AI-verordening stelt dat technische documentatie van hoog risico-algoritmen dient te worden opgesteld voordat dit systeem in gebruik wordt gesteld (hoofdstuk 2, artikel 11). De verplichte aanwezigheid van technische documentatie is nog niet als zodanig vastgesteld door het GMT.

Aandacht voor privacy

Algoritmen gebruiken vaak persoonsgegevens om naar behoren te functioneren. De betrokken personen hebben recht op privacy , en het is daarom belangrijk dat er goede waarborgen zijn om de privacy te behouden. De Algemene Verordening Gegevensbescherming (AVG) die in mei 2018 in werking is getreden heeft tot doel de privacy van Europese burgers te beschermen door te reguleren hoe persoonsgegevens worden verzameld, verwerkt en opgeslagen, en om privacyrechten van burgers verder te verankeren. Het is daarom belangrijk om na te denken over hoe algoritmen worden ontworpen en gebruikt, en hoe deze zich verhouden tot de AVG en andere privacywetten. Het zo veel mogelijk beperken van de impact van algoritmen op de privacy van individuen vraagt om een verantwoorde manier van ontwikkelen en gebruik van algoritmen. Het is daarom belangrijk dat het Amsterdamse beheerskader voor algoritmen hier voldoende aandacht voor heeft.

Het beheerskader heeft in zijn algemeenheid aandacht voor privacy en de AVG. Het kader benoemt de AVG expliciet, en heeft voldoende aandacht voor het:

• opnemen van algoritmen in het verwerkingsregister indien persoonsgegevens worden verwerkt [3.01];
• ontwerpen van algoritmen volgens de principes van 'data protection by design' [3.02];
• uitvoeren van een 'Data Protection Impact Assessment' (DPIA) wanneer een gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert voor de personen van wie de gegevens worden verwerkt [3.03];
• nagaan of er sprake is van geautomatiseerde besluitvorming, en zo ja, of dat is toegestaan [3.04];
• vaststellen van een rechtmatige grondslag voor de verwerking van persoonsgegevens [3.06];
• vaststellen van wie de 'verwerkingsverantwoordelijke' en wie de 'verwerker' is van de persoonsgegevens, wanneer er andere organisaties worden ingezet om persoonsgegevens voor Amsterdam te verwerken, en daar duidelijke afspraken over te maken in een 'verwerkersovereenkomst' [3.08];
• toetsen in hoeverre er sprake is van profilering in de zin van de AVG en in hoeverre dat is toegestaan [3.09].

Daarmee is er voldoende aandacht voor zeven van de dertien toetsingsonderdelen binnen het thema privacy.

Uit eerder onderzoek van Tilburg Institute for Law, Technology and Society (TILT, 2022) blijkt dat de in Amsterdam gehanteerde sjabloon voor de DPIA in opzet in orde is, en aansluit op de vereisten van de AVG.  Tegelijkertijd zou de sjabloon-DPIA gebaat zijn bij meer aandacht voor vooronderzoek, het betrekken van belanghebbenden en uitleg van de gehanteerde terminologie (zie kader Amsterdamse DPIA voldoet aan de AVG, maar laat ruimte voor verbetering). Ons valt daarnaast op dat de DPIA de ambtelijke organisatie weinig ondersteuning biedt om te bepalen of er sprake is van profilering , of profilering is toegestaan en hoe betrokkenen moeten worden geïnformeerd over de profilering en de gevolgen daarvan. Het sjabloon voor de DPIA is in september 2023 geactualiseerd en bevat nu wel een definitie van profilering, het risico dat het uitgelegd kan worden als discriminatie van bepaalde groepen en voorwaarden waaraan moet worden voldaan wanneer toch gebruik wordt gemaakt van profileringen (zie paragraaf 3.4.2). 

Op een aantal normen die volgen vanuit de AVG constateren we dat er beperkt aandacht of zelfs geen aandacht is voor deze normen. Daarbij valt op dat er weinig aandacht is voor het proactief of op verzoek informeren van betrokkenen wiens gegevens worden verwerkt of gebruikt. Er is ook beperkt aandacht voor het duidelijk maken van de mogelijke gevolgen voor betrokkenen wiens persoonsgegevens worden verwerkt. Er is weliswaar een openbaar privacybeleid, maar daarin wordt niet expliciet aandacht besteed aan algoritmen.

Ook is er beperkt aandacht voor het expliciet maken van overwegingen en gevolgde logica bij het verstrekken van besluiten die (gedeeltelijk) zijn gemaakt met behulp van een algoritme. Er is aandacht aan besteed door een handreiking te maken voor interne bezwaarbehandelaars, maar er is nog te weinig aandacht voor transparantie in de overwegingen en logica bij het primaire besluit (zie ook onderstaand kader). Concreet betekent dit, dat er te weinig aandacht is voor uitleg en informatie over de rol die het algoritme heeft gespeeld bij de totstandkoming van het besluit en uitleg over de gevolgde logica die specifiek van toepassing is op het individuele besluit (zie ook paragraaf 2.8.4).

Daarnaast heeft het kader nog geen aandacht voor casussen waarbij persoonsgegevens die zijn verzameld en/of verwerkt voor het ene doel, worden gebruikt voor een ander doel. Daarbij is het belangrijk dat er wordt getoetst of de twee doelen wel voldoende bij elkaar aansluiten (of het nieuwe doel verenigbaar is met het oorspronkelijke doel).

Tot slot zou het beheerskader meer aandacht kunnen besteden aan dataminimalisatie, proportionaliteit en subsidiariteit. Daarbij zijn twee vragen belangrijk: 1) staat de inbreuk op de privacy van de betrokkene in verhouding tot het doel van de gegevensverwerking? en 2) is het doel niet op een andere manier te bereiken, die minder nadelig is voor de betrokkene? 

Aandacht voor IT-beheer

Een goede inrichting van het IT-beheer is cruciaal voor het bewaken van de betrouwbaarheid, vertrouwelijkheid en beschikbaarheid van informatiesystemen en bij de inzet van algoritmen.  Een organisatie neemt zogenaamde 'generieke IT-beheersmaatregelen' om IT-systemen (waaronder algoritmen) te beveiligen en te beheersen.  Voorbeelden van dit soort beheersmaatregelen zijn het inrichten en up-to-date houden van toegangsbeveiliging tot systemen, wachtwoordbeheer en het maken van back-ups.

Op grote lijnen heeft het Amsterdamse beheerskader voor algoritmen voldoende aandacht voor aspecten van goed IT-beheer. Uit de stukken blijkt dat de directeur Digitale Voorzieningen de primaire verantwoordelijkheid draagt voor de uitvoering van het IT-beheer. De ambtelijke organisatie geeft aan dat in de praktijk deze verantwoordelijkheid bij de (gedelegeerde) applicatie-eigenaar ligt en dat het beheerskader hierop zal worden aangepast (september 2023).  Het beheerskader heeft in zijn algemeenheid voldoende aandacht voor:

• het bijhouden van gebeurtenissen in processen zoals gebruikerstoegang tot systemen en wijzigingen (‘logging’) [4.01];
• het inrichten en bijhouden van logische toegangsbeveiliging en het bijhouden van toegangsrechten tot algoritmen en de bijbehorende IT-omgeving [4.02, 4.03, 4.04, 4.07, 4.09];
• het voorkomen van functievermenging [4.05];
• het beperken van het aantal (generieke) beheeraccounts [4.06];
• het gebruikmaken van standaard naamgevingsconventies en systematiek bij het inrichten van toegangsrechten [4.07];
• het voorkomen van ongeautoriseerde toegang [4.08];
• de volwassenheid van het wachtwoordbeheer [4.10];
• het op een gecontroleerde wijze uitvoeren van wijzigingen in de code van het algoritme [4.11];
• het ontwikkelen van algoritmen en processen volgens het principe 'security by design' [4.14].

Daarmee is er voldoende aandacht voor dertien van de veertien toetsingsonderdelen binnen het thema IT-beheer.

In het beheerskader wordt niet expliciet benoemd wie er primair verantwoordelijk is voor het maken en het beheer van back-ups.  Hierdoor kan onduidelijkheid ontstaan over wie er verantwoordelijk is, waardoor het risico toeneemt dat back-ups niet gemaakt worden. Ook valt op dat er in de Contractbepalingen in aanvulling op de GIBIT voor het rechtvaardig gebruik van Algoritmische toepassingen weinig aandacht is voor het (laten) nemen van IT-beheersmaatregelen bij aanbestedingen. Hierdoor kan adequaat IT-beheer bij aanbesteding potentieel in gevaar raken. De Gemeentelijke inkoopvoorwaarden bij IT (GIBIT) hebben echter wel aandacht voor het nemen van IT-beheersmaatregelen bij aanbestedingen. 

Aandacht voor ethiek

Het laatste perspectief, 'ethiek', is verweven in de vier eerder besproken thema's van sturing en verantwoording, model en data, privacy en IT-beheer (paragrafen 2.3 tot en met 2.6). De beoordeling van ethiek is gebaseerd op onze toetsing van de vier genoemde thema's.

Het begrip ethiek omschrijven wij als het kritisch nadenken over wat (moreel)  goed is om te doen. In dit onderzoek hebben we ons gericht op de vier ethische perspectieven (en zeven ethische principes) zoals voorgesteld door de Algemene Rekenkamer :

1. Respect voor menselijke autonomie:
1.1. De beslissingen die gemaakt zijn door het algoritme zijn te controleren door menselijke tussenkomst.

2. Voorkomen van schade:
2.1. Het algoritme is veilig en doet altijd waarvan het gemaakt is;
2.2. Privacy is gewaarborgd en data zijn beschermd.

3. Fairness (een eerlijk algoritme):
3.1. Het algoritme houdt rekening met diversiteit in de populatie;
3.2. Er is bij de ontwikkeling van het algoritme rekening gehouden met impact op maatschappij en milieu.

4. Verklaarbaarheid en transparantie:
4.1. Er kan verantwoording worden afgelegd over gevolgde procedures (procedureel);
4.2. De werking van het algoritme is te verklaren en uit te leggen (technisch). 

We hebben onderzocht in hoeverre het Amsterdamse beheerskader aandacht heeft voor deze ethische perspectieven. Hieronder zullen we de vier perspectieven apart langslopen en onze bevindingen uiteenzetten.

Respect voor menselijke autonomie: voldoende aandacht

Wat houdt het ethische perspectief in?
Algoritmen die zelfstandig besluiten nemen op basis van een geautomatiseerd proces vormen een risico voor burgers. Belangrijk is daarom dat beslissingen die (mede) door algoritmen worden genomen, te controleren zijn door menselijke tussenkomst. Dit houdt in dat er sprake moet zijn van menselijke controle en toezicht op het algoritme en dat menselijke review in ieder geval achteraf (als een besluit is genomen) mogelijk is. 

Geautomatiseerde besluitvorming is alleen onder voorwaarden toegestaan. In artikel 22 van de Algemene Verordening Gegevensbescherming (AVG) is namelijk opgenomen dat - wanneer er persoonsgegevens worden verwerkt - betrokkenen het recht hebben om niet onderworpen te worden aan geautomatiseerde besluitvorming.  Artikel 40 van de Uitvoeringswet AVG heeft verder een ruime uitzonderingsgrond gecreëerd voor volledige geautomatiseerde besluitvorming, mits er aan voorwaarden is voldaan. Belangrijk daarbij zijn: het voldoen aan transparantieverplichtingen (zie kader Relatie tussen ‘respect voor menselijke autonomie’ en ‘transparantie’) en het waarborgen van het recht van burgers om een besluit aan te kunnen vechten. 

Beoordeling
Uit het beheerskader blijkt dat het ontwikkelteam en de privacy officer moeten toetsen of het algoritme voldoet aan de geldende wet- en regelgeving rondom geautomatiseerde besluitvorming. Wanneer er sprake is van geautomatiseerde besluitvorming, moet de privacy officer verder nagaan of er documentatie aanwezig is waarin staat waarom het is toegestaan en moet hij een vastgestelde en met de betrokkene gecommuniceerde procedure hanteren. 

Wordt een algoritme ingekocht, dan gelden de Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen. Hierin is eveneens opgenomen dat het algoritme in overeenstemming moet zijn met de wet- en regelgeving, waaronder rondom geautomatiseerde besluitvorming. Er wordt aangesloten bij artikel 22 van de AVG, wat betekent dat wanneer het ingekochte algoritme persoonsgegevens verwerkt, geautomatiseerde besluitvorming slechts onder voorwaarden is toegestaan. Bovendien kunnen de modelbepalingen ook van toepassing worden verklaard op ingekochte algoritmen die impact hebben op een groep personen, zonder dat daarbij persoonsgegevens worden verwerkt. 

Daarnaast moet zowel bij hoog risicovolle algoritmen als bij inkoop worden vastgelegd op welke wijze in menselijke tussenkomst is voorzien. Ook zou in het algoritmeregister informatie over de menselijke tussenkomst moeten worden opgenomen. 

Conclusie
Er is voldoende aandacht voor het respecteren van de menselijke autonomie in het beheerskader met 1) toetsingen of er voldaan is aan de geldende wet- regelgeving rondom geautomatiseerde besluitvorming, en 2) het vastleggen van de wijze waarop is voorzien in menselijke tussenkomst (minder risicovolle algoritmen zijn daarbij wel een aandachtspunt).

Voorkomen van schade: voldoende aandacht

Wat houdt het ethische perspectief in?
Voor het voorkomen van schade moet volgens het toetsingskader van de Algemene Rekenkamer enerzijds het algoritme veilig zijn en altijd doen waarvoor het gemaakt is en anderzijds de privacy gewaarborgd en de data beschermd zijn. 

Wij zien hierin drie onderdelen terugkomen. Ten eerste een blijvende goede werking. Daarvoor moeten het algoritme en de bijbehorende data van goede kwaliteit zijn en in lijn zijn met het doel. Bovendien moeten er mogelijkheden zijn ingebouwd om te kunnen volgen of het algoritme ook goed blijft werken en om indien nodig in te kunnen grijpen. Ten tweede is voor zowel de veiligheid van het algoritme als de bescherming van de bijbehorende data een goede informatiebeveiliging vereist. Deze informatiebeveiliging moet zorgen voor weerbaarheid tegen manipulatie en cyberaanvallen en voorkomen dat er geen onrechtmatige toegang plaatsvindt. Wijziging, beschadiging of verlies van data kunnen namelijk grote gevolgen hebben voor burgers en bedrijven. Ten derde moet om de privacy van burgers te beschermen, ook aan verschillende wettelijke verplichtingen uit de AVG worden voldaan. 

Beoordeling
We zien dat er in het beheerskader voldoende aandacht is voor een blijvende goede werking van het algoritme; ook bij inkoop is dat het geval. Zo dragen prestatie- en kwaliteitscriteria, technische documentatie over de kwaliteit en betrouwbaarheid van het model en verschillende controles - bijvoorbeeld op de technische kwaliteit, betrouwbaarheid en de juistheid/volledigheid van de verwerking - bij aan een technisch robuust, betrouwbaar en nauwkeurig algoritme. Voor een hoge datakwaliteit moet onder andere het gebruik van data in overeenstemming zijn met de passende praktijken voor databeheer uit de Europese concept-AI-verordening (relevant, representatief, juist en volledig). Tijdens de levensduur van het algoritme is de functioneel beheerder verantwoordelijk voor beheer en onderhoud. Er moet ook een proces worden ingericht om de prestaties en kwaliteit te kunnen monitoren, maar expliciete regels over de inhoud en frequentie ontbreken nog. Verder is er aandacht voor mogelijkheden tot ingrijpen met een evaluatie bij afwijkingen en het bepalen van beheersmaatregelen rondom de omgang met fouten en de aanwezigheid van een stopknop. De opdrachtgever (directeur of dagelijks bestuurder) is verder eindverantwoordelijk voor de betrouwbaarheid van het algoritme en daarmee onzes inziens ook wanneer er fouten optreden. Een algemeen aandachtspunt is wel dat verschillende zaken alleen voor hoog risico-algoritmen goed zijn geborgd, zoals de documentatie en controles rondom de technische kwaliteit en betrouwbaarheid, evenals het beschrijven van maatregelen om onjuiste data te voorkomen. 

De informatiebeveiliging wordt met het beheerskader over het algemeen ook voldoende geborgd met 'security by design' en allerhande maatregelen rondom toegangsrechten. Aandachtspunten zijn wel de controle op het up-to-date houden van toegangsrechten, logging van minder risicovolle algoritmen en de verantwoordelijkheid voor het maken van back-ups (zie verder paragraaf 2.4). 

In paragraaf 2.5 beoordeelden we dat het beheerskader in zijn algemeenheid aandacht heeft voor privacy. Er wordt voldaan aan verschillende wettelijke verplichtingen uit de AVG, maar er zijn ook nog tekortkomingen. Zo vraagt het beheerskader bijvoorbeeld niet expliciet om af te wegen of de verdere verwerking van persoonsgegevens, na een initiële verwerking, nog steeds verenigbaar is met het oorspronkelijke doel van de gegevensverwerking. Verder zou in de dataminimalisatie-toets naast de proportionaliteit ook de subsidiariteit moeten worden meegenomen.  Ook zien we dat de communicatie richting betrokkenen nog meer uitgewerkt kan worden. Bijvoorbeeld het proactief, gericht informeren van de betrokkenen voorafgaand aan de besluitvorming en het informeren van diegenen die niet direct onderworpen zijn aan een besluit, maar wiens persoonsgegevens wel verwerkt worden. Daarnaast is de toelichting op het gebruik en de werking van het algoritme, waaronder de gebruikte gegevens, nu nog vooral uitgewerkt voor de bezwaarfase en niet zozeer voor primaire besluiten (zie ook paragraaf 2.7.4). 

Conclusie
Onze conclusie is dat er voldoende aandacht is voor het voorkomen van schade. Een blijvende goede werking en de veiligheid van het algoritme evenals de bescherming van de bijbehorende data en privacy van de betrokkenen zijn redelijk goed geborgd in het beheerskader. Het beheerskader heeft aandacht voor de kwaliteit van het model en data, monitoring, informatiebeveiliging en de wettelijke verplichtingen uit de AVG. Een algemeen aandachtspunt is dat deze conclusie in mindere mate geldt voor niet-hoog risico-algoritmen, terwijl het ook voor dergelijke algoritmen belangrijk is om schade zoveel mogelijk te voorkomen. Ook zijn er meer specifieke aandachtspunten, zoals de uitwerking van de monitoring (blijvende goede werking algoritme), de verantwoordelijkheden rondom het up-to-date houden van toegangsrechten en het maken van back-ups (informatiebeveiliging), en bij de verwerking van persoonsgegevens zou meer aandacht mogen zijn voor subsidiariteit, de verdere verwerking na het initiële gebruik en proactieve en gerichte communicatie richting betrokkenen (privacy).

Fairness (een eerlijk algoritme): beperkte aandacht

Wat houdt ethisch perspectief in?
Tilburg University constateert dat algoritmische besluitvorming systemische en op institutioneel niveau ingebedde ongelijkwaardigheid vergroot, aangezien algoritmen bestaande sociaaleconomische ongelijkheden in de samenleving kunnen reproduceren of zelfs versterken.  Wanneer een algoritme dergelijke systematische afwijkingen voor specifieke groepen of personen creëert of versterkt, kan dat voor diegenen grote gevolgen hebben. Een ‘eerlijk algoritme’ moet daarom rekening houden met de diversiteit in de populatie. Daartoe moeten de data representatief zijn, bias in het model en data moeten worden geminimaliseerd en extra aandacht moet worden geschonken aan kwetsbare groepen. Daarnaast moeten stakeholders en eindgebruikers regelmatig betrokken worden bij de ontwikkeling van een algoritme. Een te eenzijdige inbreng kan namelijk ook leiden tot bias, evenals fouten. 

Een ‘eerlijk algoritme’ houdt verder rekening met de impact op maatschappij en milieu. Dit houdt in dat bij de ontwikkeling een impact assessment plaatsvindt over de sociale gevolgen en er rekening wordt gehouden met de impact op de samenleving en democratie. 

Beoordeling
Wat betreft het voorkomen van bias moet volgens het beheerskader onder andere 1) een toets op aanwezige bias in het model en de data plaatsvinden, 2) voor hoog risico-algoritmen maatregelen ter voorkoming van sociaal geconstrueerde vertekening en bias in de data worden beschreven, en 3) het gebruik van data in overeenstemming zijn met de passende prakijken voor databeheer uit de Europese concept-AI-verordening, waar representativiteit onderdeel van is.  Ook in de modelbepalingen voor inkoop is opgenomen dat de leveranciers sociaal geconstrueerde vertekening en bias in de data zoveel mogelijk moeten voorkomen en een risicostrategie moeten hanteren waarbij risico’s op discriminatie worden gesignaleerd. 

Wat betreft de toetsing op bias, is binnen het gemeentelijke Kunstmatige Intelligentie Impact Assessment een bias-analysemodel ontwikkeld. Het bevat een stappenplan, dat uitmondt in een rapportage over de gevonden biases en eventueel genomen maatregelen.  Dit gemeentelijke kader bevat een vraag (7.7) over de kwetsbare positie van een betrokkene ten opzichte van de gebruiker van een algoritme.  Zoals uit paragrafen 2.8.5 en 2.8.6 blijkt, is het echter onduidelijk of dit bias-analysemodel verplicht of vrijwillig is en in welke fasen en op welke algoritmen het precies van toepassing is.

Verder wordt er gevraagd om verschillende stakeholders inclusief de eindgebruikers te betrekken in het ontwikkelproces, maar het gaat daarbij wel meer om verschillende deskundigen en niet zozeer om burgers en bedrijven.   Ook het bias-analysemodel geeft geen duidelijkheid over het betrekken van belanghebbenden. Het betrekken van belanghebbenden kan langs verschillende lijnen vorm krijgen. In sommige gevallen zal een algemeen burgerpanel uitkomst kunnen bieden, maar in andere gevallen zal er juist voor moeten worden gezorgd dat (vertegenwoordigers van) betrokken doelgroepen specifiek een stem krijgen. 

In het beheerskader is in beperkte mate aandacht voor het in kaart brengen van de maatschappelijke impact van een algoritme. Zo zijn de directeuren respectievelijk de dagelijkse bestuurders verantwoordelijk voor het toetsen van de impact van beoogde algoritmen bij bewoners en ondernemers. Daarnaast moeten door middel van een gemeentelijke Kunstmatige Intelligentie Impact Assessment (zie paragraaf 2.8.5) risico's in kaart worden gebracht inclusief de gevolgen voor de mensenrechten en de afweging van ethische principes. Deze Kunstmatige Intelligentie Impact Assessment bevat echter relatief weinig vragen over de sociale gevolgen of de impact op de samenleving en democratie (met name in het onderdeel ‘Wettige en ethische toepassing’). De landelijke Impact Assessment Mensenrechten en Algoritmes (IAMA) bevat dergelijke vragen in meerdere mate, maar deze impactanalyse was ten tijde van het rekenkameronderzoek nog op vrijwillige basis.  Aandacht voor de impact op het milieu zijn we niet tegengekomen in het Amsterdamse beheerskader. 

Conclusie
Het beheerskader heeft beperkt aandacht voor fairness. Om bias tegen te gaan, zijn er in het beheerskader wel verschillende waarborgen ingebouwd voor representatieve data en het voorkomen van bias in het model en de data. Tegelijkertijd is er daarbij nog nauwelijks expliciete aandacht voor kwetsbare groepen en het betrekken van belanghebbenden. Daarnaast is er voor de impact op maatschappij en milieu weinig aandacht in de Kunstmatige Intelligentie Impact Assessment. Deze gemeentelijke impact assessment (inclusief bias-analyse) evenals de landelijke mensenrechten impact assessment (IAMA) werden door de ambtelijke organisatie ten tijde van het rekenkameronderzoek bovendien alleen nog op vrijwillige basis toegepast. Ook bij dit ethische perspectief constateren we dat sommige waarborgen alleen voor hoog risico-algoritmen expliciet worden genoemd.

Verklaarbaarheid en transparantie: voldoende aandacht

Wat houdt het ethische perspectief in?
Er zijn volgens de Algemene Rekenkamer twee soorten transparantie als het gaat om algoritmen: technische en procedurele transparantie. Technische transparantie houdt in dat eigenaren van een algoritme de werking ervan moeten kunnen uitleggen aan de betrokkenen. Het gaat er hier om dat er inzicht is in de (technische) werking van het algoritme evenals of en wanneer het algoritme goed en in lijn met het doel functioneert. Bij procedurele transparantie gaat het erom dat eigenaren van een algoritme verantwoording moeten afleggen over de gevolgde procedures bij de totstandkoming en de uitkomsten van het algoritme. Het gaat met name om het documenteren van allerhande zaken, zoals het ontwerp van het model, de data(verwerking), de risicobeheersing en gemaakte keuzes en afwegingen. 

Beoordeling
In het algemeen is er voldoende aandacht voor de technische transparantie in het beheerskader, dat geldt ook voor de modelbepalingen voor inkoop. Volgens het beheerskader moet voor alle betrokkenen documentatie beschikbaar zijn over het doel en elk algoritme moet vergezeld gaan van een goede gebruiksinstructie. Ook moet het ontwikkelteam een toets uitvoeren op de uitlegbaarheid van het algoritme. Verder is er - in ieder geval expliciet voor hoog risico-algoritmen - aandacht voor technische documentatie (waaronder de kwaliteit van het model), technische kwaliteitscontroles en het monitoren van de prestaties en kwaliteit.  Hiermee zijn in het beheerskader waarborgen ingebouwd voor inzicht in wat het doel is, hoe het algoritme in technische zin werkt, hoe het algoritme besluiten neemt, onder welke voorwaarden het algoritme goed functioneert, wanneer het algoritme accuraat werkt en wat de prestaties zijn. 

Eveneens is aan de procedurele transparantie - ook bij inkoop - over het algemeen voldoende aandacht besteed, maar er zijn tegelijkertijd nog enkele tekortkomingen. Ten eerste is niet expliciet benoemd dat elke fase van 'het levenscyclusmodel' gedocumenteerd moet worden, wat ten koste gaat van de reproduceerbaarheid van het algoritme. Ten tweede is de procedurele transparantie wederom met name voor algoritmen met hoge risico's geborgd. Hiervoor wordt expliciet gevraagd om keuzes en aannames die zijn gemaakt gedurende de levenscyclus te documenteren. Hoewel bij nieuwe algoritmen of (grote) wijzigingen in bestaande algoritmen risicoanalyses moeten worden vastgelegd, wordt daarentegen alleen voor hoog risicovolle algoritmen expliciet gevraagd om ook de beheersmaatregelen vast te leggen. Hetzelfde geldt voor de documentatie van technische specificaties, waaronder de kwaliteit van het model en de gebruikte datacategorieën data.  Documentatie over het verkrijgen en bewerken van data is alleen in de koopvoorwaarden expliciet geregeld. En afspraken over het documenteren van de train- en testfase zijn nog niet expliciet benoemd in het beheerskader. 

De Algemene Rekenkamer stelt dat om te bepalen welke mate van transparantie nodig is, er ook rekening moet worden gehouden met de doelgroep.  Uit het toetsingskader van de Algemene Rekenkamer blijkt echter niet op wie de gewenste technische en procedurele transparantie gericht is. Zijn dit de interne stakeholders, de externe belanghebbenden of beide groepen? In het kader Transparantie voor verschillende doelgroepen, bespreken we per doelgroep de informatiebehoefte en de gevolgen van te weinig transparantie.

Het beheerskader heeft aandacht voor openbaarheid. De directeur, respectievelijk de dagelijks bestuurder, moet volgens het beheerskader een expliciete afweging maken over de openbaarheid van informatie richting burgers. De informatiecommissaris is verantwoordelijk voor het interne toezicht op het 'openbaar tenzij principe'. Dit principe houdt in dat het model (code en werking) en de data in principe openbaar zijn. Daarnaast heeft de gemeente het algoritmeregister ontwikkeld. Het register zou een overzicht moeten geven van de algoritmen die de gemeente Amsterdam gebruikt bij ‘gemeentelijke dienstverlening’ en waarvoor ze worden ingezet, hoe ze werken en hoe de risico’s worden beperkt et cetera (zie paragraaf 2.8.1 kader Welke informatie is te vinden in het algoritmeregister?). 

Tegelijkertijd zou er nog meer aandacht voor proactieve en gerichte communicatie kunnen zijn. De directeuren, respectievelijk dagelijks besturen, van de stadsdelen moeten al een besluit nemen of actieve communicatie richting burgers en bedrijven nodig is, maar wederom alleen voor hoog risico-algoritmen. De ambtelijke organisatie geeft aan dat de directeuren en dagelijks besturen ook besluiten nemen over laag-risico algoritmen.  De rekenkamer heeft geen documenten ontvangen ter onderbouwing van dit standpunt en heeft dit dus niet zelf kunnen vaststellen. Verder is er nog geen expliciete aandacht voor het communiceren over de gevolgen en beperkingen van de toepassing van algoritmen. De toelichting in primaire besluiten over het gebruik en de werking van het algoritme kan bovendien nog verder worden uitgewerkt, waaronder afspraken over het opnemen van gebruikte gegevens, keuzes en aannames, zoals de AERUS-uitspraak voorschrijft. Een uitgebreidere toelichting wordt nu pas voorgeschreven in de handleiding voor de bezwaarfase. Wanneer het primaire besluit in de eerste plaats echter onvoldoende is toegelicht, missen betrokkenen essentiële informatie om hiertegen op te komen in bezwaar gevolgd beroep (zie ook paragraaf 2.8.4). 

Conclusie
Het beheerskader heeft voldoende aandacht voor het ethisch perspectief van verklaarbaarheid en transparantie. Aan hoog risico-algoritmen worden meer transparantie-eisen gesteld dan aan minder risicovolle algoritmen. Andere aandachtspunten zijn enerzijds het documenteren van alle fasen in het levenscyclusmodel, waaronder het verkrijgen, bewerken, trainen en testen van data. En anderzijds meer proactieve en gerichte communicatie richting belanghebbenden en het beter toelichten van primaire besluiten waarbij het algoritme een rol heeft gespeeld.

Kwaliteit van de instrumenten in het beheerskader

Op ons verzoek hebben de onderzoekers van de Tilburg Law School (Tilburg University) een onafhankelijke beoordeling gemaakt van het Amsterdamse beheerskader van algoritmen. We hebben op 23 februari × Verder lezen Onderzoek Tilburg University 2023 het rapport ontvangen. Het rapport is zelfstandig leesbaar. Deze paragraaf licht een aantal hoofdlijnen uit de onafhankelijke beoordeling, aangevuld met onze eigen bevindingen over de kwaliteit van de instrumenten in het beheerskader.

Algoritmeregister positief voor transparantie, doelen beperkt bereikt

Het algoritmeregister van de gemeente Amsterdam is sinds 28 september 2020 online. Het algoritmeregister is eind juni 2023 nog in ontwikkeling, zoals ook wordt gecommuniceerd op de website.

Het algoritmeregister betreft een publiek toegankelijke website (algoritmeregister.amsterdam.nl) waarop een overzicht wordt gegeven van de algoritmen die de gemeente Amsterdam gebruikt bij ‘gemeentelijke dienstverlening’, waarvoor ze worden ingezet en hoe ze werken (zie kader Welke informatie is te vinden in het algoritmeregister?).

In het register wordt niet ieder algoritme of systeem individueel geregistreerd, maar wordt de informatie over het gebruik van algoritmen verzameld op het niveau van de beleidsdoelstelling (bijvoorbeeld ‘parkeercontrole’). Positief aan het algoritmeregister is dat per algoritme eerst het doel en de context worden beschreven waarvoor respectievelijk waarbinnen het algoritme wordt ingezet. Verder is positief dat de informatie die over de verschillende algoritmen wordt gepresenteerd, steeds in dezelfde categorieën wordt aangeboden.

Het algoritmeregister kent drie doelen

In de eerste plaats is het register bedoeld om transparantie te bieden aan burgers over het gebruik van algoritmen. Ten tweede dient het register om de participatie van burgers te bevorderen door het delen van informatie over algoritmen. Ten derde kan het register ook een interne functie vervullen in het ontwikkelproces van algoritmen, door ontwikkelaars en ambtenaren kaders te bieden voor goed bestuur, zoals het bieden van adequate transparantie. 

Het algoritmeregister biedt mogelijkheid voor wettelijke transparantievereisten
Het Amsterdamse algoritmeregister levert een positieve bijdrage aan het gebruik en de toepassing van algoritmen in Amsterdam. Het is een instrument waarmee het college zou kunnen voldoen aan haar informatieverplichtingen over algoritmen die volgen uit de Algemene Verordening Gegevensbescherming (AVG) en het bestuursrecht.  De AVG vereist bijvoorbeeld dat mensen op de hoogte worden gesteld van geautomatiseerde besluitvorming en nuttige informatie krijgen over de logica, het belang en de gevolgen van die verwerking.  Maar ook buiten de context van persoonsgegevens moeten overheidsinstanties volledig en tijdig openbaar maken welke keuzes, gegevens en aannames worden gebruikt bij geautomatiseerde besluitvorming, zodat keuzes, gegevens en aannames duidelijk voor belanghebbenden te vinden zijn.  Ook is het positief dat het register in het Engels beschikbaar is voor inwoners die de Nederlandse taal niet machtig zijn. 

Directeuren en dagelijkse besturen verantwoordelijk voor inhoud algoritmeregister
Het is de verantwoordelijkheid van de directeur of het dagelijks bestuur van het stadsdeel om ervoor te zorgen dat een algoritme in het register wordt opgenomen en dat de informatie in het register actueel blijft en inhoudelijk juist is.  Om dat laatste te bewerkstelligen, wordt de verantwoordelijke directeur gevraagd om voorafgaand aan de publicatie van de tekst in het algoritmeregister de tekst te accorderen.  Van alle (twaalf) algoritmen die eind juni 2023 in het algoritmeregister staan, is de tekst door de verantwoordelijke directeur geaccordeerd. 

De informatiewaarde van het algoritmeregister is wisselend
De informatiewaarde van het register is wisselend en qua diepgang zeer divers.  Zo bevat de pagina van het algoritme Onderzoekswaardigheid ‘Slimme check’ de achterliggende documentatie van het algoritme, bestaande uit een architectuurnotitie, technische documentatie, de Kunstmatige Intelligentie Impact Assessment en een bias-analyse. Op de pagina van Geautomatiseerde handhaving Milieuzones - die vier verschillende algoritmen bespreekt - zijn wel alle velden met een beschrijving gevuld, maar wordt alleen onder het kopje ‘Architectuur’ een brondocument (visualisatie van de architectuur) getoond. Het algoritme Optimalisatie routeplanning afval, dat overigens inmiddels (juni 2023) niet meer in gebruik is, bevat alleen een tekst en geen onderliggende elementen. Er is voor de bezoeker geen houvast voor waarom er in het ene geval wel bepaalde informatie wordt verstrekt en in het andere geval niet. Zo bevatten registraties soms wel een privacyverklaring en soms niet. Het algoritmeregister bevat doorgaans geen broncode. In twee gevallen is deze wel beschikbaar via een link naar GitHub (een online platform voor softwareontwikkeling en versiebeheer). Het college is van plan om voor alle algoritmen die door de gemeente zelf zijn ontwikkeld de broncode openbaar te publiceren via links in het algoritmeregister naar GitHub. 

Ook bevat het register geen informatie over de vraag of de inzet van een algoritme überhaupt gerechtvaardigd is.  Evenmin bevat het register informatie over hoe bij de ontwikkeling van een algoritme sprake is geweest van participatie van burgers en betrokken doelgroepen, en de resultaten hiervan.  Daarnaast wordt onderliggende documentatie niet standaard in het register openbaar gemaakt.  Tot slot is onduidelijk of bepaalde (onderdelen van) algoritmen niet zijn beschreven, omdat deze niet openbaar of vertrouwelijk zijn (op grond van de Woo). Als het doel van het register is om burgers meer inzicht te geven in het gebruik van een algoritme, dan ligt het in de lijn der verwachting dat ook informatie over waarom sommige algoritmen niet verder (kunnen) worden toegelicht, onderdeel zou zijn van het publiek toegankelijke deel van het register. 

Registreren algoritmen blijft achter bij de planning

Het algoritmeregister bestaat sinds september 2020 , maar is in augustus 2023 nog lang niet volledig.  In september 2021 bevatte het register zes algoritmen. Begin 2022 deed de Functionaris Gegevensbescherming de aanbeveling om het register verder te vullen, maar in 2022 is het aantal algoritmen in het register nog steeds op zes blijven steken.  De Nederlandstalige versie van het algoritmeregister bevat eind september 2023 negentwintig algoritmen (zie figuur 2.5). De Engelstalige versie bevatte er op dat moment vier. 

Figuur 2.5 - Ontwikkeling aantal algoritmen in Amsterdams algoritmeregister

Bron: Rekenkamer Amsterdam op basis van archive.org  van de site algoritmeregister.amsterdam.nl. (sites laatst geraadpleegd op 21 september 2023).

De prioriteit van de ambtelijke organisatie voor het vullen van het register ligt bij de hoog risico-algoritmen.  Uiteindelijk moeten alle algoritmen in het register worden opgenomen; dit geven het college, de CIO en de directeur Digitale Strategie en Informatie (DS&I) aan. Dit geldt dus ook voor de algoritmen zonder een hoog risico.  Om het project van het vullen van het algoritmeregister te realiseren, heeft de directeur DS&I informatiemanagers zowel in de zomer als in het najaar van 2021 opgeroepen om algoritmen te inventariseren en deze toe te voegen aan het algoritmeregister. 

Door de tijd heen verschilt de ambitie over de snelheid van het 'vullen' van het algoritmeregister. In november 2022 beoogt de ambtelijke organisatie eind 2023 zestig algoritmen volledig (maximaal transparant) te hebben beschreven en honderd algoritmen in algemene zin te hebben beschreven.   In januari 2023 heeft de wethouder Digitale Stad, in lijn met het ambtelijk plan van aanpak, toegezegd dat in het eerste kwartaal van 2023 zo'n dertig algoritmen gepubliceerd zouden zijn.  In april 2023 verwachten de CIO en directeur DS&I dat vóór de zomer alle algoritmen zouden zijn geïnventariseerd, en dat eind 2023 alle algoritmen in het register zullen staan.  De realisatie blijft op dit moment achter bij de gewenste planning. Het algoritmeregister bevat in september 2023 negentwintig algoritmen (zie figuur 2.5).

Interne en externe afstemming vergt tijd
Volgens de wethouder ICT en Digitale Stad (januari 2023) zijn er twee redenen waarom het lang duurt - tussen de zes weken en vier maanden per algoritme - om het register te vullen: 1) Amsterdam doorloopt een zorgvuldig proces, omdat Amsterdam meerdere doelgroepen wil bedienen (de burger, de expert en de techneut), en 2) voor ingekochte algoritmen met oudere contracten is er "veel afstemming nodig met de leverancier"  Ook in de interviews die wij hebben gevoerd, komt de hoeveelheid afstemming ter sprake.  Met name daar waar het gaat over het algoritmeregister. Functionarissen die wij hebben gesproken, bevestigen dat er altijd meerdere schrijfronden nodig zijn voor het beschrijven van het algoritme in het register.  Ook vergt het goedkeuringsproces voor publicatie in het register door de lijneigenaren veel tijd. 

Het is overigens een landelijke tendens dat het registreren van algoritmen complex is en tijd vraagt (zie kader Ook het landelijk algoritmeregister loopt achter).

Onjuiste, onterechte of arbitraire selectie aan de poort
Naast de hierboven beschreven oorzaken zijn er meer oorzaken voor het lage aantal algoritmen in het register. Eerder beschreven we het belang van het onderkennen door de ambtelijke organisatie dat een tool of toepassing een algoritme is (zie paragraaf 2.2.2). In paragraaf 2.2.1 (zie het kader Afwegingskader voor toepassing en risicoanalyse algoritme) beschrijven we een gemeentelijk instrument dat tot doel heeft om de ambtelijke organisatie te ondersteunen bij het beantwoorden van de vraag of er sprake is van een algoritme. Daartoe moeten twee stellingen worden beantwoord: 1) er is hier sprake van software waarin gebruikgemaakt wordt van data-analyse, statistiek en/of zelflerende logica, en 2) de software komt op deels of volledig geautomatiseerde wijze tot een uitkomst (bijvoorbeeld een berekening, advies of voorspelling). Wordt een van beide stellingen met een ‘nee’ beantwoord, dan luidt de conclusie: “Uw systeem is geen algoritmisch systeem volgens de Amsterdamse definitie. U kunt stoppen”. Dit is echter slechts een van de gemeentelijke definities van algoritmen (paragraaf 2.2.2). Bovendien is deze definitie minder ruim dan de definitie die de gemeente voorstaat in het algoritmeregister. Het gevolg van de gehanteerde selectiecriteria is dat het gemeentelijk instrument op basis van deze criteria een tool of toepassing niet als algoritme kwalificeert, terwijl het dat volgens de definitie van het algoritmeregister wel is.

Daarnaast gelden strenge criteria voor opname van een algoritme in het register. Een algoritme moet volgens de handleiding van het algoritmeregister pas geregistreerd worden op het moment dat het algoritme in gebruik wordt genomen.  Algoritmen die nog in ontwikkeling zijn, of waarvan het inkooptraject nog loopt, worden dus niet in het register opgenomen. Voor algoritmen die niet meer gebruikt worden, zijn er geen instructies. De praktijk laat zien dat wanneer besloten wordt dat een algoritme niet langer wordt gebruikt, deze uit het register is of zal worden verwijderd (bijvoorbeeld voor het algoritme Handhaving illegale vakantieverhuur en het algoritme Anderhalve meter monitor).  Ook algoritmen waarvoor de gemeente niet zelfstandig verantwoordelijk is, maar wel beleid op maakt, bijvoorbeeld het koppelen van groep 8-leerlingen aan een middelbare school, maken geen onderdeel uit van het algoritmeregister. 

Bovendien werden vóór juni 2023 algoritmen alleen openbaar gepubliceerd in het register wanneer de gewenste beschrijving compleet was.  In het proces om een algoritme in het register op te nemen, werd soms door de ambtelijke organisatie ontdekt dat er bijvoorbeeld nog geen privacyverklaring voor het algoritme bestond, of dat andere 'checks' nog moesten worden uitgevoerd, zoals het vaststellen dat er een wettelijke grondslag is voor de verwerking van persoonsgegevens.  In dergelijke gevallen koos het college ervoor om éérst alle checks en achterliggende documentatie compleet te krijgen, alvorens het algoritme te publiceren in het register. Zo moest bijvoorbeeld ook eerst een toets op bias worden uitgevoerd voordat het algoritme werd toegevoegd aan het algoritmeregister.  De consequentie van deze werkwijze is geweest dat verschillende algoritmen die intern bekend en in gebruik waren, niet in het algoritmeregister voorkwamen en dus niet openbaar worden gemaakt. Sinds december 2022 heeft men de intentie om van de werkwijze af te stappen.  In juni 2023 heeft de directie DS&I, in lijn met het Jaarplan 2023 Algoritme life cycle (december 2022), besloten dat ook algoritmen aan het register worden toegevoegd indien de beschrijving, checks en achterliggende stukken nog niet volledig gereed zijn. 

Ook constateren we dat er soms spraakverwarring en desinteresse optreedt in de ambtelijke organisatie als het gaat om het algoritmeregister. Zo blijkt uit de correspondentie tussen een directie en de Commissie Privacy Amsterdam (CPA) dat het onderscheid tussen het verwerkingsregister en het algoritmeregister niet duidelijk is.  Elders merkt een andere directeur in de correspondentie met de CPA op dat die zich weliswaar best wil richten op de accuraatheid van de informatie in het register, maar zich niet bezighoudt met ‘de semantiek’ of met wat belangrijke informatie zou zijn voor het algoritmeregister. 

Laag aantal geregistreerde algoritmen problematisch
Omdat er zo weinig algoritmen in het register staan, weet de bezoeker niet over welke algoritmen er geen informatie wordt verschaft.  Als gevolg van de gekozen werkwijze is de samenleving minstens tot juni 2023 dus niet goed ingelicht over algoritmen die wél al in gebruik zijn, maar waarvan nog niet alle documentatie op orde is, over algoritmen die worden ontwikkeld en waarbij persoonsgegevens worden gebruikt, en over algoritmen die enige tijd hebben gefunctioneerd, maar daarna uit het algoritmeregister zijn verwijderd. De samenleving heeft daarom geen weet over de bedoeling en werking van deze algoritmen en wordt niet in de gelegenheid gesteld om de algoritmen te toetsen en te reageren om deze beter, eerlijker en verantwoorder te maken. 

Het college heeft geen zicht op het aantal algoritmen
Het college van B en W heeft geen volledig zicht op het aantal algoritmen in Amsterdam. Schattingen van ambtenaren lopen uiteen van enkele honderden tot enkele duizenden algoritmen. In april 2021 spraken we ter verkenning van het onderzoeksonderwerp met twee functionarissen van de gemeente. Zij schatten toen in dat er 15 tot 30 'complexere' algoritmen bij de gemeente in gebruik zouden zijn, waaronder een onbekend aantal zelflerende modellen.  Daarnaast zouden er volgens hen toentertijd mogelijk 150 tot 300 rule-based algoritmen in gebruik zijn die impact hebben op burgers, bijvoorbeeld regels voor dataverwerking en beslisbomen. Er was toen geen centraal overzicht op de algoritmen. Ook bij aanvang van ons onderzoek (september 2022) had het college nog geen zicht op het aantal gemeentelijke algoritmen. Een medewerker van de ambtelijke organisatie verwachtte destijds dat de gemeente zo'n 12.000 algoritmen zou hebben.  Daarnaast is er tussen januari 2022 en juni 2023 slechts 1 algoritme met een hoog risico ter besluitvorming aan het college voorgelegd, terwijl het algoritmeregister meerdere hoog risico-algoritmen bevat (zie paragraaf 2.9.2).

De ambtelijke organisatie had bij de start van ons onderzoek (september 2022) een inventarisatie gemaakt van mogelijke algoritmen, aan de hand van het verwerkingsregister voor persoonsgegevens. Omdat er op dat moment geen activiteiten plaatsvonden voor een verdere inventarisatie van algoritmen, hebben wij een inventarisatie geïnitieerd (zie kader Interne inventarisatie verloopt moeizaam).

Sindsdien is deze interne inventarisatie mede op ons verzoek door de ambtelijke organisatie aangevuld, maar is er in de periode tot en met juli 2023 nog geen centraal overzicht ontstaan. Ook gaf het college eerder aan dat het “herkennen van (risicovolle) algoritmen in bestaande systemen” lastig is (december 2022).  De gemeente laat in Het Parool van 22 februari 2023 weten dat er 64 algoritmen zijn geïdentificeerd met een mogelijke grote impact op burgers of bedrijven.  De ambtelijke organisatie geeft in september 2023 aan dat de inventarisatie nog steeds loopt.  Daarvoor gebruikt de ambtelijke organisatie een overzichtslijst die gedeeld wordt met de lijnverantwoordelijken met het verzoek om informatie aan te vullen. Het gemeentelijke algoritmeteam ondersteunt algoritme-eigenaren actief bij het identificeren, analyseren en uiteindelijk publiceren in het algoritmeregister, aldus de ambtelijke organisatie.

Raad onhandig geïnformeerd
Na het verzoek van raadslid Nadif om alle algoritmen van de directie Openbare Orde en Veiligheid (OOV) op te nemen in het algoritmeregister (15 december 2023) geeft de burgemeester op 7 februari 2023 in een raadsinformatiebrief  aan : “Ook heb ik in de commissie op verzoek van het lid Nadif (GroenLinks) toegezegd na te gaan of het algoritmeregister van de gemeente Amsterdam voor Openbare Orde en Veiligheid up-to-date is. Dit is het geval.”  Daarmee is de suggestie gewekt dat alle algoritmen van de directie OOV in het Amsterdamse algoritmeregister geregistreerd waren. De ambtelijke organisatie geeft in september 2023 aan dat zij de raadsvraag destijds anders heeft geïnterpreteerd. Het raadslid zou de burgemeester gevraagd hebben of het Top400-algoritme volledig in het algoritmeregister was beschreven. Die vraag zou de burgemeester in de raadsbrief bevestigend hebben beantwoord.  Die interpretatie is onjuist.

Uit de interne inventarisatie van de ambtelijke organisatie (begin juni 2023) blijkt bovendien dat er 38 mogelijke algoritmen zijn geïdentificeerd bij de directie OOV (zie ook het kader Interne inventarisatie verloopt moeizaam).  Eind juni 2023 heeft de ambtelijke organisatie een sessie gepland waarin ieder algoritme specifiek wordt doorlopen om te bepalen welke acties vereist zijn - waaronder publicatie.  In september 2023 heeft de ambtelijke organisatie laten weten dat deze sessie inmiddels heeft plaatsgevonden. Twee processen die een algoritme bevatten worden uitgewerkt, zodat ze kunnen worden opgenomen in het algoritmeregister. Afhankelijk van de aanwezige algoritmen die deel uitmaken van een dashboard zal hierna het algoritmeregister verder worden uitgebreid. 

Het antwoord op de vraag of het algoritmeregister op dat moment volledig was, had met de kennis van nu ontkennend beantwoord moeten zijn.

Doelen algoritmeregister nog beperkt gerealiseerd
Zoals eerder beschreven kent het algoritmeregister drie doelen: transparantie bieden, participatie van burgers bevorderen en kaders bieden voor algoritmen. Op basis van de hierboven beschreven bevindingen blijkt dat de doelen van het algoritmeregister nog niet volledig zijn bereikt. Hoewel het register bepaalde informatie over de algoritmen bevat, is het aantal algoritmen dat in het register staat nog beperkt en wisselt de informatiewaarde sterk. Ook is er geen zicht op de algoritmen die (nog) ontbreken in het algoritmeregister, als gevolg van de gekozen werkwijzen.

Governancedocument speelt een centrale rol binnen het beheerskader

Het eerder besproken document Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam (hierna: governancedocument) neemt een centrale rol in binnen het beheerskader. Het bevat uitgebreide beschrijvingen van taken en verantwoordelijkheden met betrekking tot algoritmen in Amsterdam. De opzet van het document lijkt ontleend aan de Taken en verantwoordelijkheden bij het verwerken van persoonsgegevens door de gemeente Amsterdam (mei 2018). 

In het governancedocument zijn duidelijke bestuurlijke en ambtelijke verantwoordelijkheden vastgesteld. Op bestuurlijk niveau zowel voor het college, de burgemeester als voor individuele vakportefeuillehouders. Op ambtelijk niveau zijn verantwoordelijkheden vastgelegd voor het stelsel, voor de lijn en voor toezicht- en advies.

Onduidelijk wanneer betrokkenheid college gewenst is
Het college respectievelijk de burgemeester is verantwoordelijk voor de toepassing van algoritmen in Amsterdam. De portefeuillehouder ICT, tevens wethouder Digitale Stad, is de stelselverantwoordelijke voor het gebruik van algoritmen. Vanuit die verantwoordelijkheid dient deze portefeuillehouder het college ook kaders te laten vaststellen voor het werken met algoritmen en activiteiten te initiëren om de bescherming van persoonsgegevens en digitale rechten van burgers binnen de organisatie te bevorderen. De vakportefeuillehouders zijn verantwoordelijk voor de betrouwbaarheid  van de algoritmen die binnen hun portefeuille worden toegepast en om algoritmen met een hoog risico ter besluitvorming aan het college voor te leggen.  Het kader maakt niet duidelijk waarom enkel dergelijke algoritmen ter besluitvorming aan het college moeten worden voorgelegd. Dit roept ook de vraag op in welke fase van de levenscyclus (verzoek tot ontwikkeling, ingebruikname, et cetera) het college hierover een besluit moet nemen. 

Ambtelijke verantwoordelijkheden voor het stelsel geregeld
De Chief Information Officer (CIO) is de belangrijkste actor binnen de ambtelijke organisatie. Zo is de CIO onder andere verantwoordelijk voor het laten vaststellen van kaders voor het toepassen van algoritmen en de regie als het gaat om het beheersen van risico’s, het zorgen voor bewustwording en training van de ambtelijke organisatie in het gebruik van algoritmen, en de controle op de naleving van interne richtlijnen. De Chief Information Security Officer (CISO) is verantwoordelijk voor de ontwikkeling en naleving van het informatiebeveiligingsbeleid bij de toepassing van algoritmen. De Informatiecommissaris (IC) is verantwoordelijk voor het toezicht dat informatie over algoritmen openbaar wordt gemaakt, binnen het uitgangspunt openbaar, tenzij. De directeur Digitalisering & CTO  is verantwoordelijk voor juiste registratie van alle vereiste informatie en documentatie over het algoritmische systeem. De directeur Digitale Voorzieningen is verantwoordelijk voor de technische kwaliteitscontrole en -borging bij de begripsvorming, ontwikkeling, modellering, evaluatie en monitoring van de algoritmen. Tot slot is de directeur Data verantwoordelijk voor het signaleren van de toepassing van algoritmen, het bevorderen van de naleving van taken en verantwoordelijkheden bij het gebruik van algoritmen, en beleid op het gebied van datagebruik bij het ontwikkelen van algoritmen. 

Ambtelijke lijnverantwoordelijken deels geregeld
Stedelijk directeuren zijn binnen hun functie verantwoordelijk voor de betrouwbaarheid van algoritmen die directie-overstijgend binnen een bepaald domein worden toegepast, ontwikkeld of worden ingekocht.  Directeuren en het dagelijks bestuur hebben dezelfde verantwoordelijkheid voor algoritmen die binnen hun eigen directie of stadsdeel worden toegepast, ontwikkeld of worden ingekocht. De uitvoering is over het algemeen belegd bij ambtelijke ontwikkelteams.  Het valt ons hierbij op dat de rol van de directeur DS&I in het governancedocument niet lijkt te zijn geformaliseerd. Het ligt voor de hand dat de directeur DS&I wel een formele rol heeft bij algoritmen, aangezien deze directie verantwoordelijk is voor de kaders en het beleid van de digitale dienstverlening en de digitale voorzieningen van de gemeente. 

Voor het sturen op en het monitoren van het behalen van het (beleids)doel en maatschappelijk nut waarvoor het algoritme wordt ingezet, heeft het governancedocument geen aandacht. 

Verantwoordelijkheden voor toezicht en advies geregeld
De privacy en security officers, de adviseurs informatiebeheer en de informatiearchitecten zijn belast met de coördinatie en advies over de uitvoering van de kaders voor algoritmen door de organisatieonderdelen. Zij hebben de taak om een actieve bijdrage te leveren aan de ontwikkeling van bewustzijn en kennis van het beleid bij medewerkers op het gebied van algoritmen en de advisering in alle fases van de levenscyclus van algoritmen. 

De Functionaris Gegevensbescherming (FG) is de interne toezichthouder voor de naleving van de Algemene verordening gegevensbescherming (AVG) en brengt advies uit over het verwerken van persoonsgegevens en verplichtingen ingevolge de wet.  Daarnaast is algoritmetoezicht opgenomen in het nieuwe functieprofiel voor de FG, die ten tijde van ons onderzoek geworven werd. 

Onafhankelijke derdelijns-audits en -onderzoek worden verricht in opdracht van de gemeente Amsterdam, door de afdeling Interne Audit en Beleidsonderzoek (IA&BO) (zie verder paragraaf 2.8.7). 

De Commissie Persoonsgegevens Amsterdam (CPA) adviseert het college over gegevensverwerking. Daaronder valt de ethische toets bij de toepassing van algoritmen. De CPA adviseert sinds 2021 over het gebruik van algoritmen, waarbij de commissie let op de wet- en regelgeving, maatschappelijke en ethische inzichten en technologische ontwikkelingen. De commissie doet dit bij afwijking van de ethische principes voor algoritmen of bij vragen over gebruik van algoritmen. In de praktijk heeft de CPA met name over algoritmen geadviseerd met een hoog risico of waarbij bijzondere persoonsgegevens worden verwerkt. Directeuren leggen steeds vaker algoritmen in een vroeg stadium aan de CPA voor.  Het is niet geformaliseerd dat een advies van de CPA moet worden gevraagd en dat moet worden gerapporteerd over de opvolging van dit advies, of de gemotiveerde afwijking daarvan. 

Niet alle stakeholders worden expliciet betrokken
Het beheerskader vraagt expliciet aandacht voor het betrekken van verschillende stakeholders in de verschillende fasen in de levenscyclus van een algoritme. In het governancedocument worden stakeholders in één adem genoemd met “eindgebruikers” en “[teamleden] met de benodigde expertise”.  Het valt hierbij op dat belanghebbende burgers en groepen in de stad niet expliciet genoemd worden, terwijl de algoritmen wel het potentieel hebben om deze belanghebbenden op verschillende manieren te raken. Andere experts kunnen weliswaar het belang van deze groepen naar voren brengen, maar die kunnen hen niet vervangen. Het incorporeren van externe feedback van burgers is minder nadrukkelijk uitgewerkt in het governancedocument. 

Inhoudelijke sturing niet altijd even concreet
Het governancedocument beschrijft de taken en verantwoordelijkheden van verschillende functionarissen op vrij gedetailleerd niveau. Tegelijkertijd biedt het stuk vooralsnog niet overal voldoende houvast.  Zo zou de koppeling met het beleid voor inkopen of zelf ontwikkelen concreter kunnen, bijvoorbeeld door te verwijzen naar de handleiding hiervoor. Ook zou het concretere handvatten kunnen bieden voor de beslissing om te stoppen met (de ontwikkeling van) een algoritme, en over het gebruik van specifieke risico- en impactanalyses. Daarnaast geeft het document weinig duidelijkheid over hoe de evaluatie eruitziet en op welk moment in de levenscyclus bijvoorbeeld wordt beoordeeld of een algoritme effectief is. 

Contractvoorwaarden: verschillende eisen voor algoritmen

In aanvulling op de Gemeentelijke inkoopvoorwaarden bij IT van de gemeente Amsterdam (GIBIT) heeft de gemeente Amsterdam samen met andere partijen  contractvoorwaarden ontwikkeld voor het “verantwoord gebruik van Algoritmische toepassingen”.  Deze contractvoorwaarden zijn zowel van toepassing wanneer een algoritmische toepassing op zichzelf wordt geleverd als wanneer die algoritmische toepassing deel uitmaakt van een meeromvattende ICT-prestatie. De contractvoorwaarden hebben betrekking op de kwaliteit van zowel de data als de algoritmische toepassing. Bijzondere aandacht wordt besteed aan de (technische, procedurele) transparantie van de algoritmische toepassing en de uitlegbaarheid daarvan, de te volgen risicomanagementstrategie, het beheer en het auditen van de algoritmische toepassing. De reden voor de gemeente Amsterdam om deze contractvoorwaarden op te stellen, is dat dergelijke voorwaarden tot nog toe ontbraken.  Volgens de toelichting zijn de bepalingen nu door alle gemeenten te gebruiken en opgenomen in de GIBIT-overeenkomstengenerator. 

De ambtelijke organisatie kan ervoor kiezen om een algoritme zelf te gaan ontwikkelen, in plaats van een algoritme in te kopen. Het Amsterdamse beheerskader geeft geen inhoudelijke richting aan deze beslissing.  Het is niet duidelijk of dezelfde eisen gesteld worden aan de ontwikkeling van algoritmen 'in-house' als aan ingekochte algoritmen. De contractvoorwaarden vereisen namelijk dat de leverancier de kwaliteit van de toepassingen en risicostrategie voortdurend monitort en bijwerkt, terwijl het Amsterdamse beheerskader deze verplichting niet expliciet maakt voor algoritmen die de gemeente zelf ontwikkelt. 

De ambtelijke organisatie geeft aan dat de contractvoorwaarden van toepassing zijn op alle algoritmen die zijn ingekocht na het GMT-besluit op 20 januari 2022.  De aanvullende contractvoorwaarden zijn in twee aanbestedingen toegepast: bij 1) ‘Omnichannel informatievoorziening’, en 2) ‘Geo-registraties informatievoorziening’.  Wij vragen ons af of de aanvullende contractvoorwaarden op alle aanbestedingen zijn toegepast. Zo zien we op Tenderned aanbestedingen staan voor informatiesystemen voor schuldregelingen en budgetondersteuning en de nieuwe informatievoorziening WOZ Waarderen.  Bij deze aanbestedingen hebben we niet kunnen vaststellen of de aanvullende voorwaarden van toepassing zijn.

De contractvoorwaarden bevatten allerlei afspraken waaraan het algoritme moet voldoen, bijvoorbeeld over transparantie en risicomanagement. Ook bevatten de voorwaarden een 'exit-regeling' waarin staat wat er moet gebeuren als het contract om wat voor reden dan ook eindigt (artikel 17 ‘Exit’). De reikwijdte van de afspraken beperkt zich echter tot "besluiten die burgers in aanmerkelijke mate treffen".  Het rapport van Tilburg University constateert dat de zinsnede “in aanmerkelijke mate” is ontleend uit artikel 22 van de AVG. Het is echter niet duidelijk waarom deze beperking, die in de AVG betrekking heeft op het al dan niet garanderen van menselijke tussenkomst, wordt toegepast op de contractvoorwaarden. Het kan bovendien zorgen voor discussies over wat 'in aanmerkelijke mate' betekent en dit kan ook leiden tot onzekerheid over de toepassing van de contractvoorwaarden. 

Handreiking bezwaar maakt mindere aandacht in primair besluit zichtbaar

De handreiking voor bezwaarbehandelaars, voluit de Handreiking Effectieve en efficiënte rechtsbescherming tegen het gebruik van algoritmen door de overheid, bevat aanbevelingen voor behandelaars van een bezwaar waarbij een algoritme ten grondslag ligt aan het genomen primaire besluit.  De handreiking bevat voor verschillende fases in de behandeling van het bezwaar (indiening van bezwaar, opstellen verweerschrift, hoorzitting en samenstelling adviescommissie en beslissing op bezwaar) aanbevelingen die zijn toegespitst op algoritmen. Het document bevat ook enkele bijlagen die meer achtergrondinformatie geven over de geldende juridische verplichtingen, zoals de SyRI-uitspraak en de AERIUS-jurisprudentie bij geautomatiseerde besluitvorming.  De SyRI-uitspraak maakt duidelijk dat er aanmerkelijke gevolgen voor burgers kunnen worden gecreëerd, zelfs wanneer (nog) geen sprake is van een besluit in bestuursrechtelijke zin, maar van een feitelijke handeling (bijvoorbeeld de plaatsing van sensoren, de verzameling van bepaalde data, de opname van bepaalde data in een dataset). En dat dit op grond van het transparantiebeginsel eisen stelt aan de toepassing van algoritmen.  Met de AERIUS-jurisprudentie wordt het bestuur verplicht om in het geval van geautomatiseerde besluitvorming de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. 

Het is positief dat in de handreiking het belang van ambtshalve aandacht in bezwaar voor geautomatiseerde besluitvorming wordt benadrukt. Bovendien wordt hiermee concreet invulling gegeven aan de menselijke tussenkomst die in bezwaar plaatsvindt. Tegelijk doet de beperking tot de fase van bezwaar de vraag rijzen welke beheersinstrumenten beschikbaar zijn voor de primaire besluitvorming en voor feitelijk handelen. Bij afwezigheid van andere instrumenten in het Amsterdamse beheerskader lijken die andere situaties een blinde vlek te vormen.  Dat is geen tekortkoming van de handreiking zelf, maar wel van het beheerskader als geheel (zie ook paragraaf 2.2). Deze werkwijze roept bij ons de vraag op waarom het college de nadruk in de bezwaarfase legt, en niet al bij het primaire besluit aandacht heeft voor transparantie.  Als het college op dit punt niet transparanter wordt, dan achten wij de kans aanwezig dat burgers op termijn massaal in bezwaar gaan, om zo zicht te krijgen op het mogelijke gebruik van algoritmen in de besluitvorming.

Daarbij is het belangrijk dat de gemeente zich realiseert dat de juridische eisen die aan de kwaliteit van de motivering en transparantie worden gesteld momenteel in beweging zijn, zodat eerder een ruimere dan een minimale bescherming van de burger op zijn plaats is. 

Wat verder opvalt, is dat de handreiking nog weinig aandacht heeft voor hoe de ambtelijke organisatie kan leren van situaties waarin het bezwaar (of het beroep) gegrond is verklaard, wanneer bij het primaire besluit een algoritme is gebruikt. De handreiking geeft namelijk geen invulling aan dit proces van terugkoppeling. 

Bij behandeling bezwaren geen zicht op gebruik van algoritmen
Wij hebben aan de ambtelijke organisatie gevraagd voor welke bezwaren gebruik is gemaakt van deze handreiking. De ambtelijke organisatie gaf aan dat er “nog geen bezwaren [zijn] binnen gekomen voor het gebruik van algoritmen".  Uit deze reactie blijkt dat de ambtelijke organisatie (inclusief de bezwaarbehandelaars) geen zicht heeft op het gebruik van algoritmen door de gemeente Amsterdam en welke bezwaren daaraan zijn gerelateerd. Voor het bepalen van de WOZ-waarde en het opleggen van onroerendezaakbelastingen (OZB) gebruikt Amsterdam immers een algoritme, dat ook is opgenomen in het algoritmeregister en in de inventarisatie van algoritmen (bijlage 5). Over het belastingjaar 2021 heeft Amsterdam 14.438 bezwaren tegen een WOZ-beschikking ontvangen, en over het belastingjaar 2022 had het in maart 2023 10.927 bezwaarschriften ontvangen. 

Noodzaak eigen 'mensenrechtenimpactanalyse' onduidelijk

De gemeentelijke Mensenrechtenimpactanalyse (inclusief bias-analyse zie paragraaf 2.8.6) bevat een Template Kunstmatige Intelligentie Impact Assessment (hierna: de template). De template bevat 136 vragen verdeeld over dertien vraagcategorieën (zie kader Dertien vraagcategorieën template). De toegevoegde waarde van de template is dat dit een handvat biedt om zowel vooraf, tijdens het gebruik, als achteraf de impact van een algoritme te bepalen.  De ambtelijke organisatie geeft aan dat de template tot juni 2023 slechts eenmaal is ingezet: bij het algoritme Onderzoekswaardigheid ‘Slimme check’, overigens samen met het landelijke IAMA. 

Gezien de diversiteit aan onderwerpen (13) en de variatie in de gestelde vragen (136) heeft de template meer het karakter van een algemene vragenlijst met betrekking tot de impact van het algoritme, waarvan een mensenrechtenanalyse en bias-analyse slechts deel uitmaken. 

De template roept veel vragen op. Ten eerste, voor welke algoritmen moet de template worden toegepast? Alleen als er sprake is van kunstmatige intelligentie, zoals de titel van de template suggereert, of ook voor de eenvoudigere algoritmen met alleen een geautomatiseerde beslisboom? Ten tweede, wanneer moet de template worden toegepast? Alleen voorafgaand aan de beslissing van het algoritme, of ook gedurende het gebruik? Ten derde, waartoe moeten de antwoorden op de vragen leiden? Is dat slechts om een beslissing te nemen over (het continueren van) een algoritme, of wordt van de ambtelijke organisatie verwacht ook maatregelen te treffen om risico’s te verminderen? De template biedt daarbij geen uitsluitsel of de antwoorden actief openbaar worden gemaakt (in het algoritmeregister). 

Zowel op internationaal als op nationaal niveau zijn er mensenrechtenimpactanalyses ontwikkeld. Het Impact Assessment Mensenrechten en Algoritmes (IAMA), dat in opdracht van het ministerie van BZK is ontwikkeld, heeft een sterkere focus op de mensenrechten dan de Amsterdamse versie. Het doel van de IAMA is ook duidelijk: het gezamenlijk in discussie gaan over te maken keuzes, het vastleggen van gemaakte keuzes en het functioneren als naslagwerk wanneer op basis van het algoritme beslissingen worden genomen. Tot slot beoogt het IAMA nadrukkelijk aan te sluiten bij andere documenten die in het kader van de omgang met algoritmen zijn ontwikkeld, zoals de Handreiking non-discriminatie by design en het toetsingskader van de Algemene Rekenkamer, en bovendien bij niet-technologisch ingestoken waarborgkaders. 

Uit het stuk Grip op Technologie (juni 2023) blijkt dat de ambtelijke organisatie overstapt naar het structureel gebruiken van de IAMA in plaats van het eigen instrument.  In september 2023 heeft de ambtelijke organisatie meer achtergrondinformatie gegeven bij de overwegingen rond het gebruik van de IAMA. Volgens de ambtelijke organisatie was de IAMA ten tijde van de ontwikkeling van de eigen impactanalyse nog niet beschikbaar. De vaststelling van beide instrumenten zou volgens de ambtelijke organisatie echter erg dicht bij elkaar liggen: op 16 juni 2021 is de Amsterdamse Impact Assessment aangeboden aan de organisatie.  De IAMA kwam in juli 2021 beschikbaar.  De ambtelijke organisatie bevestigt in september 2023 dat ze overstappen naar het structureel gebruiken van de landelijke IAMA. Tegelijkertijd geeft de ambtelijke organisatie aan dat de IAMA niet alomvattend is en niet toereikend is op het gebied van een Architectuurnotitie, Security en Privacy Frameworks, ethische discussies en informatiebeheer.

Weinig houvast, status onduidelijk
De template geeft de gebruiker ervan bovendien weinig houvast. Context en toelichting ontbreken, waardoor begrippen uit de vragen verkeerd of niet-eenduidig kunnen worden geïnterpreteerd.  Daardoor is ook niet duidelijk hoe de antwoorden moeten worden gewogen. Met Tilburg University zijn wij van mening dat bij een mensenrechtenanalyse de evenredigheid van een beperking van (grond)rechten een belangrijk onderdeel van de analyse zou moeten vormen, maar deze analyse maakt geen onderdeel uit van het onderdeel 'Wettige en ethische toepassing' uit de Template Kunstmatige Intelligentie Impact Assessment. De evenredigheid komt op hoofdlijnen terug in het onderdeel 'Afwegingen en conclusie', maar op dat moment staat die afweging buiten de context van mensenrechten. 

De template verwijst naar tien bijlagen , die geen deel uitmaken van de template of van het vastgestelde Amsterdamse beheerskader voor algoritmen. De naamgeving van de bijlagen (bijvoorbeeld 'DPIA', 'Collegebesluit' en 'Gebruikersinstructie') wijst op reguliere instrumenten van de ambtelijke organisatie die door de lijnorganisatie met enige regelmaat worden toegepast. De template maakt echter niet duidelijk wanneer en in welke situaties deze reguliere instrumenten moeten worden ingezet. De template slaagt er daarmee niet in om een verbinding met de praktijk van de lijnorganisatie te leggen.

Bias-analysemodel: belang van inzet in volledige levenscyclus

Het bias-analysemodel is onderdeel van de Kunstmatige Intelligentie Impact Assessment (zie paragraaf 2.8.5).  Het model schetst negen (iteratieve) stappen om ontoelaatbare bias zoveel mogelijk uit het algoritme te weren. Dit leidt tot een rapportage die de oorspronkelijk gevonden en uiteindelijke biases omvat, samen met eventuele maatregelen die genomen zijn en de overwegingen om een bias al dan niet aanvaardbaar te achten.  Volgens de ambtelijke organisatie zou dit model voor alle algoritmen doorlopen moeten worden, dus ook voor algoritmen die in gebruik zijn, algoritmen die nog worden ontwikkeld, of algoritmen die worden ingekocht. 

Het bias-analysemodel bevat geen definitie van bias. De openbare gemeentelijke Handreiking algoritmen (december 2022) waarin het bias-analysemodel is samengevat, geeft die definitie wel: “mogelijke onvoorziene vooroordelen”.  In de raadsinformatiebrief Inzake Afdoening toezegging over het algoritmeregister (maart 2023) geeft het college een uitgebreidere definitie van bias: "We willen voorkomen dat ongerechtvaardigd onderscheid wordt gemaakt op gevoelige kenmerken als: nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse en genetica." 

In het bias-analysemodel en in de raadsbrief van maart 2023 zijn dezelfde zestien kenmerken genoemd waarop geen ongerechtvaardigd onderscheid gemaakt mag worden. Het valt op dat het college aangeeft dat negen van de zestien kenmerken niet bij de gemeente bekend zijn, in die zin dat de gemeente geen gegevens over verwerkt, waaronder etniciteit, gezondheid en sociale klasse.  We vragen ons daarom af hoe het college bias op deze kenmerken kan uitsluiten, vooral met het oog op indirecte bias. Van indirecte bias is sprake wanneer een gevoelig kenmerk, zoals nationaliteit, geen deel uitmaakt van een algoritme, maar kenmerken die sterk samenhangen met de nationaliteit, bijvoorbeeld een specifiek postcodegebied, hier wel deel van uitmaken.  In dit voorbeeld zou de variabele ‘postcode’ indirect kunnen leiden tot bias op basis van nationaliteit. Het bias-analysemodel onderkent wel het onderscheid tussen directe en indirecte bias, maar reikt geen oplossingen aan voor het bovenstaande probleem.

Er is niet uitgelegd waarom het college koos voor deze zestien kenmerken en of het overzicht van kenmerken limitatief bedoeld is. De lijst komt wel grotendeels overeen met de lijst van ‘beschermde gronden’ van de European Union Agency for Fundamental Rights and Council of Europe waarop niet gediscrimineerd mag worden volgens Europese wetgeving, verdragen en jurisprudentie.  De lijst van het college mist nog de volgende gronden: 1) spreektaal, 2) genderidentiteit, 3) niet-politieke opvattingen, en 4) overige status: i.e. beschermde verschillen  gebaseerd op een identificeerbare, objectieve of persoonlijke eigenschap, of “status”, waardoor individuen of groepen van elkaar te onderscheiden zijn. 

De vraag is dan ook of het voor de ambtelijke organisatie duidelijk is dat op andere kenmerken ongerechtvaardigd onderscheid gemaakt kan worden. Verder heeft het bias-analysemodel geen aandacht voor intersectionaliteit; het fenomeen dat juist een combinatie van kenmerken problematisch kan zijn in het licht van bias. 

Het model maakt duidelijk dat een systematische afwijking op zich nog niet problematisch hoeft te zijn, maar dat uiteindelijk de vraag moet worden beantwoord of een bepaalde vorm van systematische afwijking al dan niet aanvaardbaar is. Dat vinden wij op zichzelf positief. Het gaat er immers niet om dat systematische afwijkingen als zodanig worden uitgesloten, maar enkel dat bias (onwenselijke systematische afwijkingen) worden geweerd. 

Om de ambtelijke organisatie te ondersteunen bij het nemen van een beslissing of een bias (on)aanvaardbaar is, geeft het model vier invalshoeken, voorzien van een korte vraag:

1. Juridisch. Mag het?
2. Business. Herkennen we dit uit de praktijk?
3. Ethiek. Willen we het?
4. Tech. Wat is de impact op het model?

In het model wordt daarbij aangegeven dat het van belang is dat mensen vanuit verschillende rollen en achtergronden betrokken zijn bij het wegen van de uitkomsten van de bias-analyse.  Het afwegen of er sprake is van een onaanvaardbaar onderscheid, lijkt een ambtelijke aangelegenheid te zijn. Het model geeft niet aan of en wanneer het college (of de wethouder) bij deze besluitvorming betrokken moet worden.

Het bias-analysemodel geeft geen duidelijkheid of de toepassing van het model wordt ingebed in een bredere benadering, waarin in gesprek met de betrokken doelgroepen wordt onderzocht of bias wordt ervaren. Zodoende ontbreekt een vijfde invalshoek in het besliskader: het perspectief van de betrokken doelgroep. 

Onduidelijk of bias-analyses voor alle algoritmen moeten worden uitgevoerd
Het bias-analysemodel geeft geen duidelijkheid over de vraag hoe en wanneer dit instrument wordt ingezet gedurende de volledige levenscyclus van het algoritme. Enkel toepassen in de ontwikkelfase van het algoritme doet geen recht aan de (onvoorziene) effecten ten aanzien van bias die het gebruik van een algoritme in de praktijk kan hebben. 

Volgens het college moeten Amsterdamse algoritmen, voordat deze in gebruik worden genomen, worden getoetst met behulp van het IAMA (weblink) en de eigen bias-analyse (weblink) als onderdeel van de eigen mensenrechtenimpactassessment.  Het team bespreekt vervolgens de uitkomsten van de bias-analyses met de betrokken directeuren, beleidsadviseurs, juristen en senior medewerkers van het werkproces. Gezamenlijk wordt dan bepaald of een verschil passend is of niet. Aan de hand van de uitkomsten worden maatregelen genomen om de bias te ondervangen, aldus de wethouder.  Opvallend is dat in de raadsbrieven geen onderscheid wordt gemaakt tussen hoog risico-algoritmen en andere algoritmen als het gaat om het uitvoeren van bias-analyses. Daarmee blijft in het midden of de bias-analyses voor alle typen algoritmen moeten worden uitgevoerd. Uit het Amsterdamse beheerskader voor algoritmen en de raadsbrieven blijkt bovendien niet of de bias-analyses ook moeten worden uitgevoerd voor de reeds bestaande algoritmen.

Tot 1 juni 2023 waren twaalf algoritmen in het Amsterdamse algoritmeregister geregistreerd.  Voor een van de twaalf algoritmen, het algoritme Onderzoekswaardigheid 'Slimme Check' is een bias-analyse is uitgevoerd.  Voor de overige elf algoritmen was in juni 2023 geen bias-analyse uitgevoerd, voordat het algoritme in gebruik is genomen.

Dat beide bias-analyses zouden moeten worden uitgevoerd, strookt niet met een eerdere interpretatie van een deel van de ambtelijke organisatie (juni 2023). Die geeft aan de keuze te hebben om het IAMA of de Amsterdamse bias-analyse - al dan niet in combinatie - in te zetten. De beslissing wordt genomen door de privacy officer.  Een ander deel van de organisatie (juni 2023) geeft aan dat de ambtelijke organisatie overgaat naar het structureel gebruiken van de IAMA in plaats van het eigen instrument.  In september 2023 is bevestigd dat deze structurele overstap wordt gemaakt. 

Organisatie handelt naar aanleiding van audits

Het zevende en laatste instrument betreft audits die door de afdeling Interne Audit en Beleidsonderzoek (IA&BO) worden uitgevoerd. De focus van de afdeling ligt op de beheersing van risicovolle processen, rechtmatigheid en het onderzoeken van doeltreffendheid en doelmatigheid van het beleid. Het werk van de afdeling heeft als doel om bij te dragen aan een lerende organisatie die op een beheerste wijze haar doelen realiseert.  De afdeling stelt in samenspraak met het GMT een jaarplan op dat wordt vastgesteld door het GMT. Daarnaast voert de afdeling audits uit op verzoek van afzonderlijke gemeentelijke directies.  In relatie tot algoritmen heeft het college in juli 2021 aangegeven dat dienstverleningsprocessen waarbij algoritmen worden gebruikt gecontroleerd kunnen worden met behulp van een audit. In een audit wordt volgens het college gecontroleerd of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen.  Sinds 2018 heeft de afdeling IA&BO drie audits uitgevoerd die gerelateerd zijn aan algoritmen:  

1. 2021: Beoordeling informatiebeveiliging data-omgeving VAO Secure Plus
2. 2022: Beoordeling van het Stedelijk toetsingskader voor Algoritmen 
3. 2022: Beoordeling van het algoritme Handhaving illegale vakantieverhuur

In de beoordeling van de gemeentelijke ontwikkel- en testomgeving voor algoritmen (Veilige Analyse Omgeving, VAO) komt de afdeling IA&BO tot de conclusie dat de geïdentificeerde risico’s redelijk worden beheerst. Voor de risico’s rondom autorisatiebeheer en ‘hardening’  vragen zij aandacht.  Voor de ambtelijke organisatie is dit rapport mede de aanleiding om over te stappen naar een Analyse Suite ontwikkeld in Azure Cloud (hierna: Azure).  Mede naar aanleiding van de audit van het stedelijk toetsingskader voor algoritmen (zie kader Resultaten beoordeling stedelijk toetsingskader) heeft de ambtelijke organisatie besloten om vanaf juli 2022 niet langer het eigen toetsingskader te gebruiken voor audits, maar het auditraamwerk van de Algemene Rekenkamer. 

Naar aanleiding van de audit van het algoritme Handhaving illegale vakantieverhuur (zie kader Resultaten beoordeling algoritme Handhaving illegale vakantieverhuur) heeft de ambtelijke organisatie besloten te stoppen met dit algoritme en dit algoritme te verwijderen uit het algoritmeregister. Tevens wil de ambtelijke organisatie de uitkomsten van de audit betrekken in de verdere ontwikkeling van het algoritme Detectie illegale onderhuur (zie paragraaf 3.1.2). 

Uit het Jaarplan 2023 van de afdeling IA&BO blijkt dat de afdeling in 2023 geen algoritmen zal gaan onderzoeken. Wel zal de afdeling in 2023 van de ontwikkel- en de dataomgeving voor algoritmen (Azure) de informatiebeveiliging en privacybescherming gaan onderzoeken. 

Stand van zaken afspraken uit het beheerskader

Het governancedocument uit het beheerskader (zie paragraaf 2.8.2) beschrijft welke taken en verantwoordelijkheden het college, de Chief Information Officer (CIO), de directeur Digitale Voorzieningen en de directeur Data hebben om innovatie door middel van slimme technologie te stimuleren én om de mogelijk negatieve effecten te beperken door het beheersen van risico’s.  Daartoe moeten (periodiek) een aantal concrete documenten worden opgesteld of activiteiten worden uitgevoerd. Begin juni 2023 heeft de ambtelijke organisatie op ons verzoek ons geïnformeerd in hoeverre daaraan uitvoering is gegeven. Hieronder leest u per thema wat de stand van zaken is.

Eerder gaf de ambtelijke organisatie in algemene zin aan dat het huidige beheerskader nog onvoldoende effectief is (december 2022).  Volgens de ambtelijke organisatie is verdere bewustwording in de organisatie nodig over dat er voor algoritmen aanvullende voorwaarden gelden. Ook moet er voldoende kennis zijn van het bestaan van het beheerskader. Het is ook nodig dat het beheerskader verder wordt doorontwikkeld om beter aan te sluiten bij de ambtelijke praktijk en veranderende wetgeving. Het beheerskader is continu in ontwikkeling en zal in de komende jaren nog wijzigen, aldus de ambtelijke organisatie. 

Bestuurlijke kaders voor algoritmen zijn nog niet vastgesteld

Het is de verantwoordelijkheid van het college om de kaders vast te stellen voor het werken met algoritmen.  De portefeuillehouder ICT & Digitale Stad is stelselverantwoordelijk, bevordert de bescherming van de digitale rechten van burgers en is verantwoordelijk voor kennisontwikkeling, voorlichting, preventie en eventuele nazorg.  Gegeven deze bestuurlijke verantwoordelijkheden valt het op dat het college geen kaders voor algoritmen heeft vastgesteld. De ambtelijke organisatie geeft aan dat het Amsterdamse beheerskader voor algoritmen enkel door het GMT is vastgesteld (januari 2022). In de GMT-voordracht staat dat zes van de zeven instrumenten uit het beheerskader ‘direct uitvoerbaar’ zijn vanaf de datum van de GMT-voordracht, waarvoor de communicatieplicht naar de gemeentelijke organisatie bij de CIO is belegd.  Een uitzondering vormt het zevende beheersinstrument over de governance (zie ook paragraaf 2.8.2). In de GMT-voordracht staat dat dit document een maand later (februari 2022) aan het college zou worden voorgelegd.  Wij hebben de voordracht van het governancedocument aan het college en de besluitvorming daarover echter niet kunnen vaststellen.

Slechts één algoritme met een hoog risico voorgelegd aan het college

Daarnaast is in het governancedocument vastgesteld dat de portefeuillehouders algoritmen met een hoog risico ter besluitvorming voorleggen aan het college.   Sinds januari 2022, het moment van vaststelling van het beheerskader door het GMT, is volgens de ambtelijke organisatie één algoritme met een hoog risico, het algoritme Onderzoekswaardigheid 'Slimme Check', voorgelegd aan het college.  Dit is opvallend, aangezien in het algoritmeregister zeker acht andere algoritmen staan (juli 2023) met een hoog risico die (nog) niet ter besluitvorming aan het college zijn voorgelegd: Vroeg Eropaf (om mensen met problematische schulden te identificeren en door te leiden naar de juiste schuldhulpverlening), Handhaving Illegale Vakantieverhuur, Geautomatiseerde handhaving Milieuzones, Geluidsensoren: Slimme geluidsmeter, Adviestool Gripvol (om te bepalen of een onderneming levensvatbaar is), Waardering WOZ-objecten, Parkeercontrole en Top400/600.

Kaderstellende afspraken voor de toepassing van algoritmen wisselend nagekomen

In opdracht van de wethouder ICT & Digitale Stad is de CIO verantwoordelijk voor het formuleren en beheren van kaderstellende afspraken en uitgangspunten voor het toepassen van algoritmen, ter bescherming van rechten van burgers en bedrijven. De zes producten waarin dit zou moeten resulteren, zijn beschreven in het governancedocument.  Onderstaande tabel toont de producten en ons oordeel over de realisatie daarvan, op basis van de informatie die we van de ambtelijke organisatie hebben ontvangen (juni tot en met juli 2023).

Tabel 2.1 - RMA-beoordeling over producten uit governancedocument (juni-juli 2023)

Ons oordeel over de realisatie per product lichten we hieronder toe.

1. Beleid voor het gebruik van algoritmen – deels gerealiseerd

Te realiseren: Beleid voor het gebruik van algoritmen met definities en verwerkingseisen om de betrouwbaarheid te waarborgen, de definitie van algemene uitgangspunten voor toepassingen met behulp van algoritmen voor de stad en een overzicht van wet- en regelgeving voor de generieke toepassing van algoritmen. 

Stand van zaken (juni 2023): In de beantwoording van de vraag of er beleid is ontwikkeld, geeft de ambtelijke organisatie enerzijds aan dat de AVG van toepassing is bij algoritmen die persoonsgegevens verwerken. Voor die algoritmen geldt dat de (verwerkings)grondslag, DPIA en privacyverklaring moeten worden opgenomen in het algoritmeregister. Aanvullend zijn de Tada-waarden en de AI-waarden opgesteld die ook gelden voor algoritmen die geen persoonsgegevens verwerken. Anderzijds geeft de ambtelijke organisatie aan dat er een proces is ingericht voorafgaand aan het publiceren van een algoritme.  Onderdeel van dat proces zijn de ‘Quality Assurance Acceptatiecriteria’. Deze criteria zijn nog niet gemeentebreed van toepassing. Hoewel de genoemde punten onderdeel kunnen vormen van beleid, is er op dit moment nog geen sprake van samenhangend beleid. Bovendien ontbreekt een overzicht van de wet- en regelgeving.

2. Standaard voor vaststelling risicoanalyse – deels gerealiseerd

Te realiseren: Een standaard voor het vaststellen van een risicoanalyse. 

Stand van zaken (juni 2023): Voor deze standaard verwijst de ambtelijke organisatie naar de tool Afwegingskader en risicoanalyse (zie kader Afwegingskader: concreet, maar beperkt in toepassing, in paragraaf 2.2.1). Daarnaast heeft de ambtelijke organisatie aangegeven eind 2023 gesprekken te willen starten om een landelijk instrument te ontwikkelen.  In paragraaf 2.8.1 constateren we dat het Afwegingskader een tool of toepassing niet als algoritme kwalificeert op basis van de gehanteerde criteria, terwijl de tool of toepassing volgens de algoritmedefinitie uit het algoritmeregister wel een algoritme betreft. Het gevolg is dat risicoanalyse in dat geval ten onrechte wordt gestaakt. Daarnaast constateerden we dat de status van het Afwegingskader onduidelijk is (zie paragraaf 2.2.1); maakt het wel of geen onderdeel uit van het Amsterdamse beheerskader voor algoritmen? In dezelfde paragraaf constateerden we dat het Afwegingskader concreet is en tot handelen aanzet, maar dat het onduidelijk is waarom het model uitsluitend betrekking heeft op ‘hoog risico’-toepassingen en hoe de uitkomsten van de risicoanalyse een vervolg krijgen. Verder is het periodiek actualiseren van een risicoanalyse in onze ogen een belangrijke voorwaarde om risico’s gedurende het bestaan van het algoritme in kaart te brengen en af te wegen of getroffen beheersmaatregelen bijstelling behoeven.

3. Verantwoordingsstrategie en verantwoordingsdocumentatie – deels gerealiseerd

Te realiseren: Een verantwoordingsstrategie met betrekking tot input, output, gebruikte technologie en documentatie voor verantwoording. 

Stand van zaken (juni 2023): De ambtelijke organisatie geeft aan dat een groot deel van de genoemde zaken met betrekking tot datasets, architectuur, risico's en prestaties al worden opgenomen in het algoritmeregister.  Bovendien is de ambtelijke organisatie voornemens om het algoritmeregister verder te ontwikkelen. Dit met als doel dat het algoritmeregister meer informatie bevat over het algoritme zodat alle fasen van het algoritme (van ontwikkeling tot archivering) worden geregistreerd, het risico op een ‘black box’ wordt verminderd en ook de input en output makkelijker zijn te volgen.  Eerder constateerden we dat de kwaliteit en de diepgang van het register per algoritme verschillen en dat algoritmen die niet meer worden gebruikt uit het register worden verwijderd (zie paragraaf 2.8.1). Als de aangekondigde verbeteringen daarnaast worden gerealiseerd, dan wordt daarmee ook de transparantie van het register vergroot. Omdat er in de toelichting van de ambtelijke organisatie op de verantwoordingsstrategie nog geen aandacht is voor het onderdeel technologie, en omdat deze verantwoordingsstrategie niet door ambtenaren kan worden ontsloten, komen wij tot het oordeel ‘deels gerealiseerd’.

4. Referentiearchitectuur – deels gerealiseerd

Te realiseren: Een referentiearchitectuur voor algoritmen. 

Stand van zaken (juni 2023): De ambtelijke organisatie geeft aan dat de referentiearchitectuur voor algoritmen bestaat uit een aantal principes, kaders en richtlijnen die in acht genomen dienen te worden bij de implementatie van algoritmen. De belangrijkste principes zijn daarbij transparantie, potentie, betrouwbaarheid, ethische overwegingen, onderhoud en uitlegbaarheid.  Wij hebben deze referentiearchitectuur niet ontvangen. Wel troffen wij in het algoritmeregister bij het algoritme Onderzoekswaardigheid 'Slimme Check' het document Architectuurnotitie WPI Risicomodel v1.2. aan. De kaders in dat document worden gevormd door het algoritmeregister, de Tada-waarden en het governancedocument (zie paragraaf 2.8.2). Het document bevat zeven architectuurprincipes en zeven aanvullende principes waaraan de directie Werk, Participatie en Inkomen (WPI) belang hecht. Vier principes (betrouwbaarheid, ethische overwegingen, onderhoud en uitlegbaarheid) maken daar echter geen onderdeel van uit. Het document bevat ook geen richtlijnen.  Niet alle genoemde principes en richtlijnen zijn gedocumenteerd. Daardoor kunnen ambtenaren er geen kennis van nemen.

5. Ethische principes – gerealiseerd

Te realiseren: Vastgestelde ethische principes voor ethisch en verantwoord gebruik van data en algoritmen.  

Stand van zaken (juni 2023): Voor nieuwe algoritmen zijn de vastgestelde ethische principes (de Tada-waarden, zie paragraaf 1.2.1) de standaard, aldus de ambtelijke organisatie. Daarnaast noemt de ambtelijke organisatie dat bij afwijking van de ethische principes voor data en algoritmen, of bij vragen over de toepassing van algoritmen, de CPA desgevraagd adviseert over de toepassing met inachtneming van de wet- en regelgeving, de maatschappelijke en ethische inzichten en technologische ontwikkelingen.  Voor bestaande algoritmen maakt de ambtelijke organisatie naar eigen zeggen in de loop van 2023 een "roadmap voor een inhaalslag voor het analyseren van deze algoritmen op basis van deze principes [de Tada-waarden] en de IAMA".  De ambtelijke organisatie geeft aan dat de ethische principes op de website van algoritmeregister zijn toegelicht (zie kader Welke ethische principes worden gevolgd bij het gebruik van algoritmes in Amsterdam?).  Daarnaast geeft het college in het Grip op technologie actieplan (juli 2023) aan dat de TADA-waarden worden doorontwikkeld, met de bedoeling om deze als “concreet, duidelijk en hanteerbaar ethisch kader voor de hele organisatie” te gebruiken. Deze waarden zijn gebaseerd op “de laatste inzichten over digitale rechten, zoals de nieuwe Europese EU Digitale Rechten Principes en de Code Goed Digitaal Openbaar Bestuur.”  De CPA constateert dat de Tada-waarden op een te rooskleurig beeld van de zelfredzame burger zijn gebaseerd.  Omdat is besloten de ethische principes uit de Tada-waarden te volgen, beoordelen we dit product als gerealiseerd.

6. Standaarden technische documentatie – niet gerealiseerd

Te realiseren: Het vaststellen van standaarden voor technische documentatie over de werking van het algoritme. 

Stand van zaken (juni 2023): In antwoord op deze vraag beschrijft de ambtelijke organisatie welke ‘checks’ er in de praktijk worden uitgevoerd voorafgaand aan het registreren van een algoritme in het algoritmeregister.  Die beschrijving is wat anders dan het vaststellen van standaarden voor technische documentatie. De concept-AI-verordening bevat een standaard voor technische documentatie voor algoritmen met een hoog risico, met daarin onder meer een beschrijving van het systeem, de elementen, het proces voor de ontwikkeling ervan, en gedetailleerde informatie over de monitoring, werking en controle van het systeem.  Dit strekt veel verder dan de ‘checks’ die door de ambtelijke organisatie worden genoemd. Verder dient de technische documentatie van een systeem met een hoog risico opgesteld te worden voordat het in gebruik wordt gesteld,  en heeft het proces met ‘checks’ betrekking op het proces voorafgaand aan publicatie van een algoritme in het algoritmeregister.

Activiteiten dragen bij aan vergroten bewustwording, kennis en competenties

De CIO van Amsterdam is verantwoordelijk voor het vergroten van de bewustwording, kennisontwikkeling en competenties, en het laten verzorgen van opleidingen van medewerkers van de gemeente Amsterdam op het gebied van het beleid voor algoritmen, ethiek en het gebruik van algoritmen. Het gaat daarbij om medewerkers die binnen de gemeente Amsterdam werken aan digitalisering (het ‘I-domein’). 

Om de bewustwording te vergroten en kennis en competenties te ontwikkelen, heeft het kernteam Algoritme mede een Jaarplan algoritme lifecycle 2023 (november 2022) opgesteld. Onder het doel ‘Bewustwording, training en opleidingen’ worden veertien verschillende activiteiten benoemd, op basis van het kennisniveau van 2022, variërend in type activiteit, omvang en doelgroep (zie kader Activiteiten bewustwording, training en opleidingen).  Het jaarplan is niet vastgesteld door de CIO of het GMT. 

In de tweede helft van 2023 zal het jaarplan worden geëvalueerd en bijgesteld. Tot begin juni 2023 zijn in het kader van bewustwording rondom algoritmen met een hoog risico verdiepingssessies georganiseerd bij de directie OOV en het cluster Sociaal. Daarnaast hebben verschillende workshops van het kernteam Algoritme en de vakgroep Privacy plaatsgevonden, aldus de ambtelijke organisatie. 

Daarnaast is er een workshop Introductie Tada-waarden en moet een ethische bijsluiter worden ingevuld en actueel worden gehouden. Opvallend is de beschrijving van situaties waarin een ‘projectleider'  wordt geacht om deze workshop te volgen en de ethische bijsluiter te actualiseren. Er worden hierbij twaalf zeer uiteenlopende “statements” genoemd die dit acceptatiecriterium zouden activeren.   Het abstracte karakter van die statements (bijvoorbeeld “er wordt nieuwe technologie gebruikt” of “onderbuikgevoel”) roept bij ons de vraag op of de criteria om de workshop te volgen en de ethische bijsluiter actueel te houden, niet te vrijblijvend zijn geformuleerd.

Om het risicobewustzijn van ambtenaren te vergroten, worden er workshops verzorgd voor ambtenaren die beroepshalve betrokken zijn bij algoritmen (onder meer algoritme-eigenaren, privacy officers, product-owners, accounthouders).  De ambtelijke organisatie schat in dat via de (cluster) I-leads, privacy officers en het zelf-ontwikkelde Afwegingskader en de zelf-ontwikkelde risicoanalyse (zie paragraaf 2.2.1) “relatief eenvoudig” achterhaald kan worden of een algoritme als hoog risico beschouwd kan worden.  Omdat de Europese risico-indeling niet eenduidig is en afwegingen vergt (zie paragraaf 2.2.4) , vragen wij ons af of het in de praktijk inderdaad ‘relatief eenvoudig’ zal zijn om een risico-inschatting te maken van een algoritme.

Tot slot is er sprake van reflectie op het eigen handelen. Het document Controle op algoritmen bevat de geleerde lessen tot december 2022. 

De uitgevoerde en beoogde activiteiten dragen bij aan het vergroten van de bewustwording, kennisontwikkeling en competenties. Tegelijkertijd blijkt uit ons onderzoek van de praktijk (zie hoofdstuk 3) dat het benodigde niveau van bewustwording, kennis en competenties nog niet geheel is gerealiseerd.

Risicomanagement(systeem), controles en rapportages ontbreken

Ook het inrichten van risicomanagement ten aanzien van het gebruik van algoritmen is een verantwoordelijkheid van de CIO. Jaarlijks zou de naleving van de vastgestelde uitgangspunten voor algoritmen en de naleving van de taken en verantwoordelijkheden voor het gebruik van algoritmen moeten worden gecontroleerd. In concernrapportages en in een jaarlijkse rapportage aan de raad zou over deze controles verantwoording moeten worden afgelegd. 

Op de vraag wanneer het risicomanagementsysteem (voor algoritmen) is ingericht, antwoordde de ambtelijke organisatie in juni 2023 dat een nieuw beheersingssysteem in de loop van 2023 zal worden ingericht. Dit systeem (Fully in Control) is integrale governance, risk & compliance (GRC-)software om risico’s te identificeren en te monitoren.  De Functionaris Gegevensbescherming (FG) (maart 2023) constateert dat structurele meetinstrumenten ontbreken, waardoor de ambtelijke organisatie inclusief de CIO en de FG onvoldoende zicht hebben op (privacy)risico’s.   Gemeentebreed wordt veel verwacht van het nieuwe systeem. Zo zijn er verwachtingen rond het verbeteren van het privacymanagement, en bij opvolgingen van aanbevelingen van de gemeentelijke accountant- en adviesdienst (ACAM) en van de rekeningencommissie. 

Voor wat betreft de jaarlijkse controle op de naleving van de vastgestelde uitgangspunten voor algoritmen en de controle op de naleving van de taken en verantwoordelijkheden, geeft de ambtelijke organisatie aan (juni 2023) daar dit jaar mee te zullen starten. De FG en de CIO zullen deze controles per kwartaal (laten) uitvoeren met behulp van de input van de beoogde nieuwe risicorapportages. 

De ambtelijke organisatie geeft aan dat er in het tweede kwartaal van 2023 voor het eerst een rapportage is opgesteld per cluster waarin de stand van zaken rondom algoritmen is opgenomen.  We hebben deze rapportage niet ontvangen en kunnen dit daarom niet vaststellen.

Met de raadsinformatiebrieven Toezeggingen over algoritmen tijdens commissievergaderingen in het derde kwartaal 2022 (dd. 25 januari 2023) en Afdoening toezegging over het algoritmeregister uit de commissievergadering FKD van 9 maart 2023 (dd. 28 maart 2023) is de raad geïnformeerd over een tal van onderwerpen rondom algoritmen. Het gaat daarbij onder meer over bias-analyses, de volledigheid van het algoritmeregister, toepassingen met kunstmatige intelligentie en het openbaar maken van de broncode van de algoritmen.  Deze raadsbrieven hebben echter niet het karakter en de inhoud van de beoogde jaarlijkse verantwoording over het risicomanagement ten aanzien van het gebruik van algoritmen.

Technische kwaliteitscontroles verschillend in opzet, diepgang en betrokkenheid externen

De directeur Digitale Voorzieningen is verantwoordelijk voor de technische kwaliteitscontrole en -borging bij de begripsvorming, ontwikkeling, modellering, evaluatie en monitoring van de algoritmen, borgt de naleving van technische kwaliteitsvereisten en toetst de documentatie van het Ontwikkelteam. Deze controle dient voor algoritmen met een hoog risico in ieder geval te worden uitgevoerd voordat het algoritme in productie wordt genomen. 

In juni 2023 was er nog geen systeem (in gebruik) om algoritmen te evalueren en te monitoren.

Wel zijn in 2022 zijn voor twee algoritmen technische kwaliteitscontroles uitgevoerd. De ambtelijke organisatie heeft aangegeven dat de ambitie is om deze controle op den duur voor “alle algoritmen” te willen uitvoeren.  Het is onduidelijk of dit betekent dat de controles ook zullen worden toegepast bij algoritmen zonder een hoog risico. Dit zou een grote toename van de administratieve druk op projecten kunnen betekenen, terwijl de projecten in opzet en impact wellicht niet zo groot zouden zijn.

De verschillen tussen de twee uitgevoerde kwaliteitscontroles is groot. De technische documentatie bij het eerste algoritme, Onderzoekswaardigheid ‘Slimme Check’, behelst een uitvoerig document met een toelichting van de dataset (onder meer scope, inhoud en datakwaliteit), eigenschappen (onder meer omgang met outliers en ontbrekende waarden), doel en werking van het model, de belangrijkste metrieken en belangrijke overwegingen bij implementatie.  De kwaliteitscontrole heeft veel weg van een self-assessment en kent veel diepgang. De ambtelijke organisatie geeft aan dat het stedelijk team Algoritmen in 2023 een aanvullende controle heeft uitgevoerd op dit algoritme. 

Voor het tweede algoritme, Detectie illegale onderhuur , is de aangeleverde technische documentatie oppervlakkiger. De documentatie bestaat uit een collegevoordracht,  een advies bij deze voordracht van DMC en DJZ  en de notulen van een vergadering van de CPA.  Alleen in de notulen wordt - op hoofdlijnen - ingegaan op de technische kwaliteit van het algoritme. Hier staat tegenover dat bij dit algoritme meer externen betrokken lijken te zijn dan bij het andere algoritme. Zelf geeft de ambtelijke organisatie aan dat op dit moment een standaardwerkwijze wordt geformuleerd. 

Naleving verantwoordelijk datagebruik enigszins bevorderd

De directeur Data is verantwoordelijk voor het signaleren van de toepassing van algoritmen bij data-analyses, met als doel de verantwoordelijke partij daarvan op de hoogte te stellen. Daarnaast is deze directeur verantwoordelijk voor het bevorderen van de naleving van taken en verantwoordelijkheden bij het gebruik van algoritmen. 

De ambtelijke organisatie geeft aan dat op diverse manieren invulling is gegeven aan deze verantwoordelijkheden. Zo bevat het intranet van de gemeente Amsterdam vanaf februari 2022 een algoritmepagina, waarop de verschillende instrumenten uit het beheerskader voor algoritmen zijn beschreven en voorzien zijn van een link naar meer informatie.  Aanvullend zijn het in beeld brengen van hoog risico-algoritmen door directies en workshops over algoritmen genoemd (zie ook paragraaf 2.9.4). Tot slot geeft de ambtelijke organisatie aan dat algoritmen sinds 2023 een vast onderdeel zijn van de agenda in de periodieke gesprekken tussen de directie DS&I en de clusterleads. 

Kwartaalplanningsevents vanaf september 2023 de nieuwe standaard voor alle clusters

De werkwijze van Opgavegericht en Wendbaar werken is nog niet gemeentebreed geïmplementeerd. Op dit moment werken delen van de directie WPI, de opgave Beheer openbare ruimte en de opgave Stedelijke ontwikkeling en beheer volgens deze werkwijze.  Wel werken vanaf september 2023 alle clusters, dus ook de clusters die nog niet zijn ingericht volgens Opgavegericht en Wendbaar werken, met kwartaalplanningsevents. 

Werk in uitvoering bij beleid op het gebied van datagebruik

Verder is de directeur Data verantwoordelijk voor het formuleren van beleid op het gebied van datagebruik bij het ontwikkelen van algoritmen.  Gevraagd naar dit beleid, verwijst de ambtelijke organisatie naar de Amsterdamse Datastrategie 2021-2022 (vastgesteld in 2021), met daarin afspraken over het opslaan en gebruik van data over Amsterdammers en over de stad (zie paragraaf 1.2.1). In datastrategie staan twee doelen centraal: 1) Amsterdammers moeten meer zeggenschap krijgen over hun data, en 2) data over de stad zijn voor de stad beschikbaar.  Op 31 mei 2022 is de raad geïnformeerd over de voortgang van achttien acties uit de Datastrategie 2021-2022.  Een actie was om inzicht te genereren in het gebruik van algoritmen en data door de gemeente,  waarvoor wordt verwezen naar informatie in de raadsinformatiebrief Algoritme Lifecycle Programma (juli 2021). In de raadsinformatiebrief is te lezen dat de gemeente Amsterdam “opnieuw” in gesprek gaat met een “grote groep burgers” om beter te begrijpen wat zij willen weten over algoritmen.  Een breed consortium  waarvan Amsterdam deel uitmaakt, heeft aan een extern onderzoeksbureau opdracht gegeven om inzicht te krijgen hoe burgers geïnformeerd willen worden over het gebruik van algoritmen door overheden en welke informatie ze willen kunnen inzien.  Dat onderzoek bestond uit een enquête onder ruim duizend burgers in Nederland en een groepsgesprek met vier burgers (zie kader Informatiebehoeften van burgers over de inzet van algoritmes door overheden voor de uitkomsten van dit onderzoek). Zelf heeft de gemeente geen gesprekken gevoerd met burgers. Een tweede actie gerelateerd aan algoritmen omvat “meer eerlijke omgang met data in algoritmes”. Hiertoe is het Civic AI Lab van de UvA gestart met de uitvoering van een onderzoeksprogramma naar het tegengaan van kansenongelijkheid (weblink).  Uit de documentatie is niet af te leiden of het onderzoek heeft geresulteerd in beleid op het gebied van datagebruik bij het ontwikkelen van algoritmen.

Voor de afwegingen van burgers met het oog op de bezwaarprocedure bij een algoritme werd een (online) groepsgesprek georganiseerd met vier respondenten die ook deelnamen aan het vragenlijstonderzoek.  Deelnemers aan dit groepsgesprek willen dat overheden transparant en duidelijk zijn over de kaders waarbinnen ze het algoritme inzetten, wat de gevolgen van een algoritme kunnen zijn en waar burgers precies bezwaar tegen kunnen maken. Daarnaast willen de deelnemers dat overheden actief melden dat ze een algoritme in een bepaalde situatie hebben ingezet als ze inwoners benaderen op basis van de uitkomsten van het algoritme. Ook moet duidelijk zijn of er menselijk handelen aan te pas is gekomen bij de actie die een overheid neemt naar aanleiding van de uitkomst van een algoritme.

Casusonderzoek: drie algoritmen getoetst

In dit hoofdstuk behandelen we deelvraag 2:

Hoe wordt het algoritme toegepast?

En deelvraag 3:

In welke mate zijn de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd?

We beantwoorden deze deelvragen als volgt. Wij hebben drie algoritmen onderzocht. Eén algoritme dat de ambtelijke organisatie ondersteunt bij het behandelen van een aanvraag voor een Bbz-uitkering (Besluit bijstandverlening zelfstandigen). En twee algoritmen die de ambtelijke organisatie moeten gaan ondersteunen bij het herkennen van mogelijke overtredingen (op het water en op de woningmarkt voor sociale huurwoningen). Alleen het algoritme voor de behandeling van aanvragen van Bbz-uitkeringen wordt al in de praktijk toegepast, de twee andere algoritmen niet.

Per algoritme zijn we nagegaan of Amsterdam risico's onderkent en voldoende beheerst. Het gaat om in totaal 58 risico's rond de thema’s sturing en verantwoording, model en data (is er sprake van vooringenomenheid), privacy (bescherming van persoonsgegevens) en IT-beheer (zijn de toegangsrechten op orde).

Voor alle drie de algoritmen geldt dat de ambtelijke organisatie het bestaan van bijna alle risico's heeft onderkend. Een uitzondering daarop is het risico rondom transparantie. Daarover constateren we dat de werking van de algoritmen nauwelijks door de gemeente openbaar en uit eigen beweging wordt verklaard.

In dit hoofdstuk rapporteren over het gemiddelde beeld dat het onderzoek van de drie algoritmen laat zien. Dit beeld is gebaseerd op de oordelen per algoritme, zoals deze in de bijlagen twee tot en met vier zijn opgenomen.

Voor drie thema's (sturing en verantwoording, model en data, en IT-beheer) geldt dat de ambtelijke organisatie voor circa driekwart van de benoemde risico's toereikende beheersmaatregelen heeft getroffen waarmee het risico in opzet (‘in theorie') kan worden afgedekt. Voor het onderdeel privacy geldt dit in mindere mate. Daar constateren we dat twee derde van de risico's een correcte werking van het algoritme kunnen verhinderen. Als de getroffen beheersmaatregelen deels of in beperkte mate effectief zijn, geldt bij deze toetsingsonderdelen een middelmatig tot hoog restrisico (het risico dat overblijft nadat de beheersmaatregelen zijn getroffen).

Bij het vijfde en laatste thema (ethiek) zijn wij nagegaan in hoeverre de ambtelijke organisatie aandacht heeft voor zeven ethische principes. Bij vier van de zeven principes was deze aandacht voldoende, bij de overige drie was deze aandacht beperkt.

Deze oordelen hebben wij samengevat in de onderstaande figuur (figuur 3.1). Elk vakje in het figuur is één toetsingsonderdeel.

Figuur 3.1 - Mate van toereikendheid van getroffen beheersmaatregelen

Paragraaf 3.1 bevat een beschrijving van de drie algoritmen. Daarna volgen de rode draden per thema (paragrafen 3.2 tot en met 3.6). Het hoofdstuk sluiten wij af met positieve ervaringen van en ervaren knelpunten door de ambtelijke organisatie met het toepassen van algoritmen. Dit vanuit de overweging dat deze ervaringen andere waardevolle inzichten kunnen geven bij het toepassen van nieuwe algoritmen.

Beschrijving drie onderzochte algoritmen

In de volgende subparagrafen beschrijven we de drie onderzochte algoritmen.

Behandeling aanvraag Bbz-uitkering (Gripvol)

Aanleiding voor het algoritme
Zelfstandige ondernemers die (tijdelijk) weinig inkomen hebben, kunnen bijstand voor zelfstandigen (Bbz)  aanvragen in de vorm een lening (bedrijfskrediet) voor hun eigen bedrijf of hun zelfstandig beroep, of in de vorm van een maandelijkse uitkering die het inkomen naar bijstandsniveau aanvult. Oordeelt het college dat het bedrijf of zelfstandig beroep levensvatbaar is, dan beslist het college over de hoogte en looptijd van de uitkering.  In de periode april 2022 tot en met maart 2023 zijn 3.190 Bbz-uitkeringen aangevraagd. 

Tijdens de coronacrisis ontving de gemeente duizenden aanvragen per maand voor de Tijdelijke Overbruggingsregeling Zelfstandige Ondernemers (Tozo-regeling) , de periodieke Bbz-uitkering en de Bbz-lening, terwijl de gemeente in een normaal jaar voorafgaand aan de crisis circa honderd Bbz-aanvragen per maand ontving. Deze aanvragen werden verwerkt door de afdeling Ondersteuning ondernemers van WPI. Door de grote toename van het aantal aanvragen ontstond de behoefte aan efficiëntere methoden om aanvragen, inclusief die voor de Bbz-uitkering, te behandelen. Als een van de maatregelen om grote aantallen aanvragen van Bbz-uitkeringen te kunnen behandelen, is gekozen om een bestaand algoritme in te kopen. Voor de ontwikkeling van een dergelijk eigen algoritme was op dat moment geen ambtelijke capaciteit beschikbaar. 

Gekozen is voor de tool Gripvol van Gripvol B.V. Deze tool ondersteunt de Bbz-adviseurs van de gemeente bij het beoordelen van de vraag of het bedrijf of het zelfstandig beroep van de aanvrager levensvatbaar is.

Wat het algoritme doet – in een notendop
Gripvol is een algoritme dat enerzijds werkt op basis van beslisregels afkomstig uit de landelijke Bbz-regeling om te bepalen of de aanvrager behoort tot de wettelijke doelgroep (zie kader Voorbeelden Bbz-voorwaarden).  Anderzijds werkt het algoritme met beslisregels om een indicatie te geven over de levensvatbaarheid van de bedrijfsactiviteit van de aanvrager. Levensvatbaar betekent dat de aanvrager met zijn bedrijfsactiviteit in de toekomst  genoeg verdient om van te leven en om aan de zakelijke verplichting te voldoen. 

Gripvol helpt de Bbz-adviseur met behulp van een set aan vragen om te beoordelen of de aanvrager tot de beoogde doelgroep behoort. Ook geeft Gripvol, op basis van stellingen en de (subjectieve) inschatting van de Bbz-adviseur, een indicatie over de geschiktheid van de ondernemer voor de ondernemingsactiviteit en een beeld van de sociale impact van de ondernemersactiviteit op de aanvrager. Tot slot geeft Gripvol een indicatie over de levensvatbaarheid van de ondernemingsactiviteit, mede op basis van de financiële prognoses en taakstellingen.  Gripvol verwerkt deze informatie in een rapportage (Levensvatbaarheidsonderzoek in het kader van Besluit bijstandverlening zelfstandigen) en de adviseur kan deze rapportage betrekken bij het opstellen van het concept-Bbz-besluit. 

De gemeente laat aan Bbz-adviseurs de keus of zij Gripvol of onderdelen daarvan gebruiken ter onderbouwing van het Bbz-besluit. In de praktijk gebruikt een deel van de Bbz-adviseurs Gripvol niet. Een ander deel van de adviseurs gebruikt alleen de rekenmodule waarmee een voorspelling kan worden gedaan over de toekomstige economische situatie van de onderneming of voor de actuele branche-informatie over de ondernemingsactiviteit. Gripvol is tot april 2023 maar beperkt in zijn volle omvang gebruikt (twintig keer) om de levensvatbaarheid van een ondernemersactiviteit te bepalen, aldus de ambtelijke organisatie. 

Uit gesprekken met de ambtelijke organisatie en een interne evaluatie (maart 2022) blijkt dat Gripvol de werkdruk van Bbz-adviseurs kan verminderen, de snelheid van de aanvraagverwerking kan vergroten, de doorlooptijd van de beslissingstermijn kan verkorten en dat de besluiten meer uniform worden, in de zin dat gelijke gevallen gelijk behandeld worden. Bovendien is de verwachting van de ambtelijke organisatie dat er verder bespaard kan worden op externe advieskosten, als de tool vaker wordt gebruikt.  Ook zou het werkgeluk van de Bbz-adviseurs zijn verbeterd door het gebruik van Gripvol. 

Hoe komt het algoritme aan informatie?
De Bbz-adviseur voert het overgrote deel van de informatie handmatig in het algoritme in. Deze informatie wordt grotendeels door de aanvrager aangeleverd aan de gemeente. Het betreft onder meer financiële gegevens (inkomsten, uitgaven, vermogen en schulden) over de privésituatie en de ondernemersactiviteiten, en het ondernemersplan.  Van de optie om de aanvrager een deel van de gegevens zelf te laten invullen, maakt de gemeente in maart 2023 nog geen gebruik.  De Bbz-adviseur voert ook een gesprek met de aanvrager naar aanleiding van de aanvraag en de aangeleverde informatie. De verkregen aanvullende informatie wordt ook ingevoerd in Gripvol en het helpt de Bbz-adviseur om de stellingen in Gripvol te beantwoorden. Zo luidt een van de stellingen over de ondernemer: "Aanvrager is gemotiveerd om het bedrijf te exploiteren en zelfstandig in levensonderhoud te voorzien". De Bbz-adviseur kan bij de beantwoording kiezen uit vijf antwoorden in de range 'helemaal oneens - helemaal eens'. 

Op basis van de door de Bbz-adviseur ingevoerde branchecode  haalt Gripvol bij de Kamer van Koophandel automatisch economische informatie op over de branche. 

Wat doet het algoritme met deze informatie?
Na invoer van de gegevens berekent het algoritme scores over de ondernemer en het bedrijf, beoordeelt een financiële prognose of vervaardigt deze, en doet een voorspelling over de levensvatbaarheid van het bedrijf of het zelfstandig beroep van de aanvrager. Na een gesprek met de aanvrager en het aanpassen van de gegevens, bevestigt de Bbz-adviseur in het algoritme dat deze de invoer en onderliggende stukken heeft beoordeeld en het onderzoek heeft uitgevoerd. Daarna kan de Bbz-adviseur ervoor kiezen om het algoritme de rapportage op te laten stellen (zie figuur 3.2). 

Figuur 3.2 - Schematische werking van het algoritme Gripvol

Bron: Rekenkamer Amsterdam.

Op basis van voorgeprogrammeerde beslisregels berekent het algoritme scores (variërend van ‘onvoldoende’, ‘matig’, ‘voldoende’ tot ‘goed’ voorzien van kleuren van rood tot groen) voor de thema's ‘ondernemer’, 'onderneming', ‘financials/betaalbaarheid’ en ‘sociale impact’. Een voorbeeld van een beslisregel bij het thema 'sociale impact' is dat een hogere leeftijd van de aanvrager leidt tot een hogere en daarmee positievere score.  Het algoritme biedt de mogelijkheid om een door de aanvrager opgestelde prognose automatisch te vergelijken met branche- en benchmarkgegevens (inclusief 'bekende problemen' zoals Gripvol B.V. die vaak ziet terugkomen bij ondernemers in de branche). Het algoritme geeft vervolgens een overzicht van significante afwijkingen. Ook biedt het algoritme de mogelijkheid om op basis van historische financiële gegevens van het bedrijf (bijvoorbeeld netto-omzet, inkoopwaarde, bedrijfskosten en bedrijfsresultaat) en van de aanvrager (bijvoorbeeld privéopname) een geautomatiseerde prognose te maken. Daarnaast is het mogelijk dat het algoritme de prognose of het branchegemiddelde automatisch vergelijkt met een taakstelling (wat moet de aanvrager minimaal realiseren om tot een levensvatbare onderneming te komen?). Het algoritme geeft vervolgens een overzicht van significante afwijkingen. Tot slot berekent het algoritme een levensvatbaarheidsscore. Deze score is een risico-inschatting van de vraag ‘hoe waarschijnlijk is het dat de klant een levensvatbare exploitatie weet te realiseren?’. Staat de meter in het oranje, dan is het niet waarschijnlijk dat een levensvatbare exploitatie wordt gerealiseerd. Staat de meter in het groen, dan is het zeer waarschijnlijk dat de ondernemer een levensvatbare exploitatie zal realiseren (zie figuur 3.3).  Vanaf februari 2023 is deze grafische weergave vervangen door een kwalitatieve uitspraak over de levensvatbaarheid. 

Figuur 3.3 - Levensvatbaarheidsscore Gripvol

Bron: Gemeente Amsterdam, Werkinstructie Gripvol, versie 1.1, 18 oktober 2021, p. 25.

Het voorlopige rapport uit Gripvol vormt de basis voor het gesprek tussen de aanvrager en de Bbz-adviseur over de aanvraag. Gripvol biedt de mogelijkheid aan de Bbz-adviseur om de gegevens tussentijds aan te passen en eigen overwegingen toe te voegen. 

Mogelijke impact op burgers en bedrijven
Het onvolledig of onjuist aanleveren van gegevens door de aanvrager aan de gemeente, het onjuist of onvolledig invoeren van de gegevens in Gripvol door de Bbz-adviseur, het selecteren van een onjuiste branchecode, of het maken van een verkeerde inschatting bij de stellingen over de onderneming of het bedrijf, zijn van invloed op de scores die Gripvol berekent. Het is daarom van belang dat de Bbz-adviseur zorgvuldig en accuraat te werk gaat en alle benodigde informatie verzamelt en verifieert (ook in het gesprek met de aanvrager). Om zo te voorkomen dat er fouten worden gemaakt en de aanvraag onterecht wordt toegekend of afgewezen. Het is uiteindelijk aan de Bbz-adviseur om de informatie van de aanvrager - eventueel met behulp van Gripvol - te beoordelen, en om te bepalen of de aanvrager in aanmerking komt voor ondersteuning onder de Bbz-regeling. Alle Bbz-adviseurs volgen trainingen om de kennis en kunde over de Bbz en Gripvol te borgen en te verbeteren. De Bbz-adviseur kan de rapportage uit Gripvol toevoegen aan het besluit, maar in de praktijk is dit nog niet gedaan (stand maart 2023). In het besluit wordt ook niet verwezen naar de Bbz-rapportage uit Gripvol. 

Per aanvraag maakt de Bbz-adviseur een dossier aan in Gripvol, met een dossiernummer dat te koppelen is aan de interne dossiers bij de gemeente Amsterdam. Hoewel in Gripvol geen naw-gegevens van de aanvrager worden verwerkt, zijn deze gegevens met het dossiernummer wel te achterhalen. De gegevens die Gripvol verwerkt zijn daarom persoonsgegevens.  Het is om deze reden belangrijk dat deze persoonsgegevens zorgvuldig worden verwerkt en dat de privacy van betrokkenen wordt beschermd. Ten tijde van het rekenkameronderzoek is een concept-Data Protection Impact Assessment (DPIA) opgesteld die is voorgelegd aan de Functionaris Gegevensbescherming (FG) van de gemeente. In maart 2023 was het advies van de FG nog niet ontvangen en was de concept-DPIA nog niet vastgesteld. 

Volgens de ambtelijke organisatie verlaagt het gebruik van Gripvol de foutgevoeligheid van de verwerking van financiële gegevens (de adviseurs hoeven niet zelf te gaan rekenen met bijvoorbeeld Excel), en zorgt het ervoor dat de adviseurs alle relevante vragen doorlopen in het aanvraagproces. Bovendien geeft Gripvol actuele branche-informatie. Het is hierdoor aannemelijk dat het gebruik van Gripvol kan leiden tot beter navolgbare, beter onderbouwde en meer transparante Bbz-besluiten. 

Besluitvorming over het algoritme
Het proces van het ontstaan van een behoefte tot het overgaan tot inkoop is beperkt gedocumenteerd. De behoefte aan Gripvol ontstond tijdens de crisissituatie rondom corona, waarbij er een groot beslag werd gelegd op de ambtelijke capaciteit met het verwerken van Tozo-aanvragen.  Ten tijde van corona heeft een werkgroep met medewerkers van de afdeling Ondersteuning ondernemers, onder begeleiding van Accenture, een advies uitgebracht over het efficiënter inrichten van het behandelproces van de Bbz-aanvragen.  Het gebruik van een applicatie met de functionaliteiten van Gripvol werd onder andere geadviseerd. In afwijking van de reguliere meervoudige aanbestedingsprocedure werd Gripvol ingezet als pilot van juli 2021 tot en met juli 2022.  Er is vanwege de crisissituatie geen make-or-buy-besluit vastgelegd.  De pilot werd als een succes gezien, zo blijkt uit een interne evaluatie (maart 2022).  In april 2022 is de afwijkingsaanvraag van de aanbestedingsprocedure door de lead-buyer behandeld en is het contract met Gripvol voor twee jaar verlengd.  Het college is niet betrokken geweest bij de besluitvorming over de inzet van het algoritme.

De ontwikkelfase van het algoritme
Gripvol is een ‘Software as a Service’-pakket dat is ingekocht door de gemeente Amsterdam. Voordat Amsterdam Gripvol ging gebruiken, werd Gripvol al in andere gemeenten ingezet. Het gaat onder andere om de gemeente Emmen, Coevorden en Borger-Odoorn.  Deze gemeenten hebben ook input gegeven voor de ontwikkeling van Gripvol. Amsterdam gebruikt Gripvol sinds juli 2021. Jaarlijks wordt de werking van Gripvol geëvalueerd door Gripvol en Amsterdam in een gezamenlijke bijeenkomst.  Op basis van dit soort bijeenkomsten en andere tussentijdse feedback worden er verbeteringen in Gripvol doorgevoerd.

Detectie illegale onderhuur

Aanleiding voor het algoritme
Amsterdam kampt met schaarste aan betaalbare woningen, waaronder sociale huurwoningen.  Het college meldt dat deze schaarste leidt tot een perverse prikkel.  Huurders zouden hun huurwoning verlaten en deze woning illegaal aanhouden om hiermee zichzelf te verrijken, aldus het college. Dit zou leiden tot verdringing op de woningmarkt waardoor de doorstroming stokt. Bovendien zouden woningen voor andere doeleinden worden gebruikt dan wonen en zouden (onder)verhuurders oneigenlijke winst maken op een woning die niet van hen is. Ook kan er sprake zijn van (financiële) uitbuiting of fraude plaatsvinden (met uitkeringen en/of toeslagen), aldus het college.  Het college kiest er daarom voor om actief op illegale onderhuur te handhaven, samen met corporaties. Met de uitgevoerde handhavingsacties zijn in 2019 514 corporatiewoningen vrijgemaakt voor legaal gebruik; in 2021 waren dat er 372 en in 2022 waren dat 375 corporatiewoningen. 

In maart 2019 verzocht de gemeenteraad het college om de Amsterdamse woningbouwcorporaties bij te staan in hun strijd tegen fraude met corporatiewoningen.  Het college ontwikkelde een 'aanpak woonfraude', waarbij een zelflerend algoritme (een zogenaamd machine learning-model) zou worden ontwikkeld dat ook een voorspelling zou kunnen doen over de kans op onderhuur op een adres. Dit zelflerende algoritme is niet ontwikkeld. In mei 2020 is de ambtelijke organisatie gestart met het ontwikkelen van een algoritme met beslisregels dat een voorspelling zou kunnen doen over de kans op onderhuur op een adres waarover de gemeente een melding had ontvangen. Na de evaluatie van een testversie van het algoritme (april 2021) besloot de ambtelijke organisatie om de functie van het algoritme af te schalen. Het algoritme zal niet langer informatie geven “over de kans” op onderhuur op een adres, maar alleen die beslisregels tonen die voor het specifieke adres van toepassing zijn. Besloten werd om data op te vragen bij twee woningcorporaties om een pilot te kunnen starten. In maart 2022 werd ook de ontwikkeling van dit reactieve algoritme gestaakt. 

Wat het algoritme doet – in een notendop
Het algoritme beoogt het werk van projectmedewerkers deels te automatiseren, een extra informatiebron te raadplegen (data van woningcorporaties) en de opgehaalde informatie op een gestandaardiseerde wijze te rapporten.

Om uit te leggen wat het algoritme doet, zetten we hieronder eerst uiteen wat de huidige werkwijze is om mogelijke woonfraude te onderzoeken zonder algoritme. In de huidige werkwijze start een projectmedewerker een administratief onderzoek na ontvangst van een melding over mogelijke woonfraude bij sociale huurwoningen. Zo'n melding kan door iedereen worden gemaakt via de website van de gemeente Amsterdam (weblink). De melding belandt vervolgens in het Signalen Informatievoorziening Amsterdam
(SIA-)systeem van de gemeente. Alle meldingen worden opgevolgd met een bureau-onderzoek. Tijdens dit onderzoek raadpleegt de projectmedewerker handmatig verschillende registraties, vergelijkt zelf de informatie en komt zelf op basis van beslisregels, de zogenaamde 'business rules' (zie kader), tot een inschatting over mogelijke illegale onderhuur op dat specifieke adres. De projectmedewerker heeft de keuze om het onderzoek administratief af te sluiten of deze informatie zichtbaar te maken op de looplijst van de toezichthouder. De toezichthouder legt de aangetroffen situatie op het adres vast. Deze constateringen kunnen leiden tot een handhavingsbesluit van de projecthandhaver. 

Wat is de beoogde werking van het algoritme?
Nadat de melding van mogelijke woonfraude op de looplijst is geplaatst, wordt het algoritme automatisch geactiveerd. Het algoritme raadpleegt vervolgens automatisch verschillende registraties. Aanvullend op de huidige werkwijze raadpleegt het algoritme ook informatie over huurders en huurcontracten. Die informatie is afkomstig van woningcorporaties. Meldingen die betrekking hebben op sociale huurwoningen die geen eigendom zijn van woningcorporaties kunnen niet geheel worden behandeld door het algoritme. Het algoritme toetst automatisch of het adres wel of niet voldoet aan de beslisregels van de voorgeprogrammeerde verdachte kenmerken. Indien een beslisregel 'waar' is, dan zal het algoritme deze informatie automatisch weergeven bij een specifiek adres op de looplijst (voor een voorbeeld van een beslisregel zie hieronder: Wat doet het algoritme met de informatie?). Het proces daarna volgt de huidige werkwijze zonder algoritme. 

De inzet van het algoritme moet volgens de ambtelijke organisatie leiden tot het vrijmaken van meer corporatiewoningen door: 1) het sneller ophalen van informatie en het geautomatiseerd analyseren ervan (de verwachte tijdswinst is door de ambtelijke organisatie geschat op 35 minuten per adres), en 2) een systematischere en uniformere analyse van de informatie waardoor er een gewogen afweging kan worden gemaakt voor een te starten onderzoek. 

Hoe komt het algoritme aan informatie?
Het algoritme raadpleegt  op basis van een adres op de looplijst automatisch informatie uit verschillende bronnen: de applicatie Wonen, de basisregistratie personen (BRP), de basisregistratie adressen en gebouwen (BAG/BAG+), de basisregistratie kadaster (BRK) en het handelsregister (HR). Daarnaast raadpleegt het algoritme de door woningcorporaties aangeleverde informatie over de huurders en het huurcontract.  Het algoritme verwerkt gegevens over de ingeschreven bewoners en alle andere personen die gerelateerd zijn aan het adres waarvan de woningcorporatie eigenaar is en waarover een melding is ontvangen (zie kader Welke gegevens verwerkt het algoritme?).

Wat doet het algoritme met deze informatie?
De melding over mogelijke woonfraude op een specifiek adres is afkomstig uit de Signalen Informatievoorziening Amsterdam (SIA). Nadat de melding van mogelijke woonfraude op de looplijst is geplaatst, wordt het algoritme automatisch geactiveerd.

Het algoritme toetst per beslisregel aan de hand van de verschillende registraties of deze beslisregel 'waar' is (met andere woorden: is er sprake van een verdacht kenmerk?), en zal die informatie in dat geval op de looplijst weergeven. Zijn er bijvoorbeeld drie personen ingeschreven op een adres en is de totale woonoppervlakte 35 m2, dan is de beslisregel 'waar' "als het aantal vierkante meters woonoppervlak per ingeschreven persoon lager is dan 15 m2" en zal deze worden weergegeven op de looplijst (zie figuur 3.4).  

Figuur 3.4 - Schematische werking van het algoritme Detectie illegale onderhuur

Bron: Rekenkamer Amsterdam.

Mogelijke impact op burgers en bedrijven
Het algoritme verwerkt gegevens over de ingeschreven bewoners en alle andere personen die gerelateerd zijn aan het adres waarvan de woningcorporatie eigenaar is en waarover een melding is ontvangen (zie kader Welke gegevens verwerkt het algoritme?).  Het is daarom belangrijk dat de gegevens zorgvuldig worden verwerkt en dat de privacy van betrokkenen wordt beschermd. Hiertoe zijn meerdere 'gegevensbeschermingseffectbeoordelingen' (ook wel bekend als Data Protection Impact Assessments, kortweg DPIA's) uitgevoerd, is advies ingewonnen bij de Functionaris Gegevensbescherming van de gemeente Amsterdam en is tweemaal advies gevraagd aan en ontvangen van de Commissie Persoonsgegevens Amsterdam (CPA). De adviezen zijn bij de verdere ontwikkeling van het algoritme betrokken. 

Naast het gebruik van persoonsgegevens, heeft het algoritme Detectie illegale onderhuur net zoals in de huidige praktijk (zonder algoritme) een mogelijke impact op burgers die een corporatiewoning huren. Een rapportage naar aanleiding van een signaal over mogelijke woonfraude (afkomstig uit SIA) kan na een administratief onderzoek leiden tot een selectie van het adres voor een huisbezoek om vast te stellen of er sprake is van illegale onderhuur. Huisbezoeken door toezichthouders kunnen als een grote inbreuk op de persoonlijke levenssfeer worden ervaren. Sociale huurders zijn bovendien over het algemeen armer en kwetsbaarder dan andere huurders. Zij hebben bijvoorbeeld vaker een grote afstand tot de arbeidsmarkt, een licht verstandelijke beperking of psychiatrische problematiek.  Voor deze groepen heeft een huisbezoek mogelijk extra impact.

Het is vanwege de grote mogelijke impact op de betrokkenen belangrijk dat de beslisregels die hiertoe leiden zorgvuldig gescreend worden op mogelijke vormen van bias.  De ambtelijke organisatie heeft de beslisregels uitgebreid doorgelicht op bias door middel van kwalitatief onderzoek. Op basis van deze exercitie zijn meerdere beslisregels (vijf) voorlopig geschrapt. 

De ambtelijke organisatie heeft nog niet op kwantitatieve wijze kunnen onderzoeken welke groepen onder- of oververtegenwoordigd zijn bij de uiteindelijke selectie van adressen waarbij een huisbezoek volgt. Hoe vaak er sprake is van vals-positieven in de selecties voor huisbezoek is niet onderzocht. Er is ook niet onderzocht hoe vaak vals-positieven voorkomen bij selectie van meldingen op basis van het algoritme versus gerandomiseerde selectie van meldingen.

Het is belangrijk om te melden dat het algoritme zelf geen illegale onderhuur kan constateren of geautomatiseerde boetes kan opleggen. Alleen de toezichthouders kunnen, enkel ter plaatse, constateren of er sprake is van illegale onderhuur en daarna besluiten of en welke bestuursrechtelijke sanctie wordt genomen. Er is daarom altijd sprake van menselijke tussenkomst bij het nemen van een sanctiebesluit. Maar dit biedt geen garantie dat bias wordt uitgesloten.

Ten slotte is het belangrijk om te vermelden dat de nieuwe voorgestelde werkwijze (onderzoek met algoritme) afwijkt van de huidige werkwijze (onderzoek zonder algoritme). In de nieuwe werkwijze worden namelijk alleen meldingen onderzocht over sociale huurwoningen die eigendom zijn van woningbouwcorporaties.  In de huidige werkwijze worden sinds 2022 ook meldingen over particuliere sociale huurwoningen onderzocht.   Desondanks automatiseert het algoritme een deel van de huidige werkwijze.

Besluitvorming over het algoritme
Het proces van het ontstaan van een behoefte tot het beëindigen van de ontwikkeling van het algoritme is gedeeltelijk gedocumenteerd. In maart 2019 verzocht de raad het college om de Amsterdamse woningbouwcorporaties bij te staan in hun strijd tegen fraude met corporatiewoningen, naar aanleiding van het bericht dat professionele bendes betrokken zijn bij fraude met sociale huurwoningen.  In reactie op dit verzoek schetste de wethouder in juli 2019 de Eerste contouren nieuwe aanpak woonfraude. Een datagerichte aanpak om woonfraude te voorkomen en te kunnen bestrijden maakt daar onderdeel van uit.   In oktober 2019 gaf de wethouder aan dat er zal worden onderzocht hoe een Woonfraude indicatiemodel kan worden gerealiseerd. Dit algoritme, op basis van “machine learning” (ook: het zelflerende algoritme), is bedoeld om sneller geautomatiseerde bestanden te onderzoeken en daarmee betere selecties te maken van adressen waar mogelijk fraude plaatsvindt, aldus de wethouder.  Alternatieven voor dit algoritme zijn niet overwogen.

Dit zelflerende algoritme is niet ontwikkeld door de ambtelijke organisatie, als gevolg van een gebrek aan historische data.  De ambtelijke organisatie heeft in de periode oktober 2019 tot en met 21 april 2021 wel plannen gemaakt om een zelflerend algoritme te ontwikkelen.  In mei 2020 is de ambtelijke organisatie gestart met het ontwikkelen van een reactief model met beslisregels. Dit algoritme zoekt informatie op over een specifiek adres nadat een melding over mogelijke woonfraude op de looplijst is geplaatst. Vervolgens geeft het algoritme de kans op mogelijke woonfraude op dat adres weer. 

De ambtelijke organisatie heeft de eerste versie van het algoritme in april 2021 geëvalueerd. Deze testversie van het algoritme bevatte twee beslisregels, waarbij de kans op mogelijke woonfraude werd weergegeven. Het algoritme is in een pilot enkele weken getest. Bij de evaluatie is door de ambtelijke organisatie geconcludeerd dat de voorspelling ('de fraudekans') van het algoritme op basis van twee beslisregels geen representatief beeld geeft over de werkelijke kans op woonfraude.  Ambtelijk werd besloten om de pilot te stoppen en om de data van woningcorporaties binnen te gaan halen vanuit de gedachte dat met meer data, meer relevante kenmerken kunnen worden getoetst. Ook is door de ambtelijke organisatie besloten dat het model zich niet langer zal richten op het voorspellen van de kans op woonfraude.  In januari 2022 besloot het college dat er een model mag worden ontwikkeld en getest, waarbij gebruik wordt gemaakt van adres- en huurdersinformatie van twee woningcorporaties (Ymere en Stadgenoot).  In maart 2022 besloot de ambtelijke organisatie om de ontwikkeling van dat algoritme stil te leggen (lees in de volgende paragraaf waarom die beslissing is genomen).  Het college en de raad zijn niet (schriftelijk) geïnformeerd over deze wijziging van het algoritme en het stilleggen van het ontwikkelen van het algoritme. De ambtelijke organisatie heeft de wens om op termijn een proactief algoritme te ontwikkelen. 

Los van de ontwikkeling van het reactieve algoritme heeft de ambtelijke organisatie eind 2021 onderzocht of het ook mogelijk was om een proactief algoritme te ontwikkelen. Dit algoritme selecteert op basis van beslisregels zelf adressen die mogelijk onrechtmatig verhuurd worden, zonder dat de gemeente een melding van mogelijke woonfraude heeft ontvangen. In februari 2022 heeft de ambtelijke organisatie, in samenspraak met een privacyjurist, besloten om de ontwikkeling van het proactieve model stop te zetten, omdat een dergelijk model veel juridische voeten in aarde zou hebben. De verkenning proactieve werking model sigma bevat de onderbouwing voor dit standpunt (december 2021): Algemene beginselen van behoorlijk bestuur en privacywetgeving zouden het onmogelijk maken om alle adressen in Amsterdam zonder reden in onderzoek te nemen. Naast het misbruik van haar bevoegdheid en haar informatiepositie, zou de gemeente met dergelijke inzet van het model ook een risico op willekeur aanvaarden. Een inmenging van de persoonlijke levenssfeer is ongewenst, maar toegestaan als daar een redelijke aanleiding voor is. Zonder aanleiding is de inmenging een inbreuk op de persoonlijke levenssfeer. Adressen zonder aanleiding onderzoeken is onrechtmatig, onethisch en onwenselijk.  

De ontwikkelfase van het algoritme
In periode oktober 2019 tot februari 2022 richtte de ambtelijke organisatie zich op het ontwikkelen van een reactief algoritme op basis van beslisregels waarmee een voorspelling zou kunnen worden gedaan over de kans op onderhuur op een adres waarover de gemeente een melding had ontvangen.  Vanaf februari 2022 werden de activiteiten gericht op het ontwikkelen van een eenvoudiger algoritme. Dit algoritme zou, nadat een adres op de looplijst was vermeld, met behulp van voorgeprogrammeerde beslisregels informatie weergeven over dit adres. Een maand later (maart 2022) werd besloten om ook de ontwikkeling van dit algoritme stop te zetten. Enerzijds omdat er onvoldoende (corporatie)data beschikbaar waren om het model te testen, anderzijds omdat het nog niet mogelijk was om van de Veilige Analyse Omgeving (VAO) naar een Analyse Suite, ontwikkeld in Azure Cloud (hierna: Azure) over te stappen. De oorspronkelijke gemeentelijke ontwikkelomgeving (VAO) kende beperkingen. Zo was het niet mogelijk om rechtstreeks een basisregistratie (zoals de BRP, het kadaster of het handelsregister) te raadplegen, waar er in de nieuwe Analyse Suite wel een mogelijkheid werd ontwikkeld om databronnen zoals basisregistraties veilig te kunnen raadplegen. Daarbij wordt de nieuwe omgeving als veiliger gezien dan de oude omgeving.  Sinds maart 2022 ligt de ontwikkeling van het algoritme stil.

In februari 2023 was het mogelijk om algoritmen in de nieuwe ontwikkelomgeving te ontwikkelen en te testen. De gemeente beoogde met een uitvoeringsovereenkomst op het Convenant Zoeklicht aanvullende afspraken met de corporaties te maken over de levering van data. Die aanvullende afspraken zijn in mei 2023 nog niet gemaakt en de corporaties hebben geen data aan de gemeente geleverd. We hebben de overwegingen van de corporaties niet onderzocht. De ambtelijke organisatie heeft aangegeven dat, voordat de ontwikkeling van het algoritme weer kan worden gestart, eerst bij de ambtelijke opdrachtgever moet worden nagegaan of de gekozen oplossing nog steeds aan de behoefte voldoet. Ook moet een inschatting worden gemaakt welke beslisregels kunnen worden uitgevoerd, gegeven de beschikbare data. Met het oog op proportionaliteit en subsidiariteit zal tevens een kosten-batenanalyse moeten worden opgesteld, aldus de ambtelijke organisatie. 

Detectie illegale passagiersvaart

Aanleiding voor het algoritme
De Amsterdamse grachten worden gebruikt om goederen te vervoeren, om pleziertochten te maken en om bedrijfsmatig passagiers te voeren. Voor die laatste activiteit is een vergunning verplicht. Die vergunningen worden beperkt uitgegeven en er zijn kosten aan verbonden. Gezien de grote vraag naar passagiersvaart in Amsterdam is de verleiding groot om zonder de juiste vergunning passagiers op het water te vervoeren. Amsterdam schatte in 2019 dat er zo’n driehonderd illegale passagiersboten actief zouden zijn, en dat er tachtig partijen zonder juiste vergunning structureel commercieel passagiers vervoeren. 

Doordat er partijen zijn die zonder de juiste vergunning passagiers vervoeren, hebben de reders die varen mét vergunning last van oneerlijke concurrentie. Zij moeten immers voldoen aan strenge vergunningseisen en hebben te maken met hogere kosten dan de illegale aanbieders. Bovendien zou illegale passagiersvaart zorgen voor grote groepen (feestende) mensen, (geluids)overlast en extra drukte op het water.  Het bestrijden van de illegale passagiersvaart maakt daarom onderdeel uit van het Amsterdams beleid. Amsterdam wil de illegale passagiersvaart bestrijden door streng te handhaven en digitale middelen in te zetten om de handhaving informatiegestuurd en efficiënter te maken.

Wat het algoritme doet – in een notendop
Om de digitale mogelijkheden beter te benutten, heeft het college het algoritme Detectie illegale passagiersvaart laten ontwikkelen. Het algoritme maakt onderdeel uit van het overkoepelende dashboard Digitale Gracht (zie kader), waarin allerlei informatie over het gebruik van de Amsterdamse vaarwateren staat. Het algoritme genereert wekelijks rapporten met daarin overzichten van verdachte vaarpatronen. Met deze rapporten kunnen handhavers in theorie efficiënter en gerichter te werk gaan. Het algoritme is momenteel nog in ontwikkeling, en wordt nog niet in de praktijk gebruikt door de handhavers op het vaarwater (vaarweginspecteurs). Een werkende testversie is wel al beschikbaar. Deze testversie beschikt al over live-data van de Amsterdamse gracht.

Hoe komt het algoritme aan informatie?
Elk vaartuig dat door de Amsterdamse wateren vaart, moet zijn voorzien van een geldig vignet. Het vignet is een sticker die op het vaartuig wordt geplakt. Het vignet bevat een RFID-chip. Deze chip is met een scanner op afstand uit te lezen, en bevat een uniek RFID-chipnummer. De vaarweginspecteurs (buitengewoon opsporingsambtenaren) hebben scanners bij zich, waarmee zij op het water kunnen controleren of het vignet geldig is. De scanners staan ook op diverse plekken op de Amsterdamse vaarwater opgesteld. Elke keer dat een vaartuig langs een sensor (of RFID-scanner) in de gracht vaart, worden de locatie, het tijdstip en het RFID-chipnummer opgeslagen. Passeert een vaartuig meerdere sensoren, dan is het mogelijk om de vaarbeweging en de route van het vaartuig in kaart te brengen. Op deze manier worden verkeersdata op het water in Amsterdam inzichtelijk. Amsterdam valideert periodiek de data van de sensoren. 

Wat doet het algoritme met deze informatie?
Het algoritme analyseert deze verkeersdata op een systematische manier. Op basis van voorgeprogrammeerde beslisregels kan het algoritme ‘verdachte patronen’ in vaarbewegingen uit het algemene waterverkeer filteren. Verdachte patronen zijn patronen die grote gelijkenis vertonen met vergunde passagiersvaart. De beslisregels werken als volgt: wanneer een vaartuig met vignet voor pleziervaart door twee of meer sensoren twee of meer keer per dag op twee of meer dagen in één week wordt waargenomen, verschijnt deze in de rapportage. In theorie zou het mogelijk zijn om voor hetzelfde doel een (wellicht beter presterend) zelflerend model te gebruiken, maar er is door de ambtelijke organisatie expliciet gekozen voor een relatief eenvoudig algoritme op basis van beslisregels, zodat de output van het algoritme altijd herleidbaar is (zie figuur 3.5).

Figuur 3.5 - Schematische werking van het algoritme Detectie illegale passagiersvaart

Bron: Rekenkamer Amsterdam.

Het algoritme produceert wekelijks een rapportage die wordt getoond in het dashboard. De rapportage laat per vaartuig zien welke vaarbewegingen er zijn gemaakt op welke dagen (zie figuur 3.6 waarop de vaarbewegingen van één vaartuig op één dag te zien zijn). Het rapport bevat altijd vaarbewegingen van individuele vaartuigen op meerdere dagen in de week. Vaarweginspecteurs kunnen deze vaarpatronen over de dagen heen met elkaar vergelijken, en vervolgens op basis van professionele inschatting beoordelen of er mogelijk sprake is van illegale passagiersvaart.

Figuur 3.6 - Screenshot van een rapportage Illegale passagiersvaart

Bron: Dashboard Digitale Gracht, geraadpleegd op 16 november 2022.

Mogelijke impact op burgers en bedrijven
De gegevens die worden verzameld, zoals de locatie en het tijdstip van vaarbewegingen, zijn privacygevoelige gegevens. Het is daarom belangrijk dat de gegevens zorgvuldig worden verwerkt en dat de privacy van betrokkenen wordt beschermd. Het algoritme maakt gebruik van versleutelde en gepseudonimiseerde persoonsgegevens. Dat wil zeggen dat de vaarbewegingen gekoppeld zijn aan RFID-chipnummers, en niet direct aan namen of eigenaren. Alleen bevoegde vaarweginspecteurs, die toegang krijgen tot de rapportages, kunnen met het versleutelde chipnummer opzoeken wie de eigenaar is van het vaartuig.

Een mogelijk risico met dit algoritme is dat het vaarbewegingen als ‘verdacht’ aanmerkt, die eigenlijk compleet legaal zijn (vals-positieven). Het ontwikkelteam heeft de werking van het algoritme nog niet getest en weet daarom niet hoe vaak dit in de praktijk voorkomt. Het ontwikkelteam is wel van plan om vóór ingebruikname tests uit te voeren. Het algoritme kan niet zelf illegale passagiersvaart constateren en kan daarom geen boetes uitdelen. Alleen de vaarweginspecteurs kunnen, enkel ter plaatse, constateren of er sprake is van illegale passagiersvaart. Er is daarom altijd sprake menselijke tussenkomst bij het nemen van een boetebesluit.

Besluitvorming over het algoritme
In december 2017 is in de gemeenteraad een motie aangenomen om illegale passagiersvaart tegen te gaan, “waar mogelijk door het inzetten van geavanceerde digitale controlemogelijkheden”.  In de Nota Varen (maart 2019) is vervolgens aangekondigd dat de gemeente verdergaat met de ontwikkeling van een systeem waarmee op digitale wijze toezicht kan worden gehouden.  De gemeente verwacht zo de illegale passagiersvaart beter aan te kunnen pakken en meer gericht te kunnen handhaven. Het college heeft een besluit genomen over het beleid (maart 2019) en het bijbehorende krediet (mei 2020), maar niet expliciet over het ontwikkelen van een specifiek algoritme.  In de afdoeningsbrief van de motie (juni 2020) gaf het college aan dat het dashboard Digitale Gracht de mogelijkheid krijgt om inzicht te krijgen in de illegale passagiersvaart.  Uit de afdoeningsbrief blijkt dat er is gekozen voor een algoritme als aanvulling op de al bestaande maatregelen, zoals handhaving door vaarweginspecteurs op het vaarwater. De voorhanden alternatieven zijn dus ook ingezet.

De ontwikkelfase van het algoritme
In november 2019 heeft de gemeente met het bedrijf Globale Guide Systems afgesproken dat zij het dashboard Digitale Gracht gaan ontwikkelen. De rapportage Illegale passagiersvaart maakt vanaf mei 2021 onderdeel uit van Digitale Gracht.  In de periode van mei 2021 tot en met december 2022 konden beleidsadviseurs, nautisch beheerders en vaarweginspecteurs deze rapportage raadplegen. Het team Digitale Gracht heeft ons laten weten dat de vaarweginspecteurs gedurende deze periode geen gebruik hebben gemaakt van deze rapportage voor hun handhaving- en toezichtstaken.  Dit komt volgens de ambtelijke organisatie omdat alle betrokkenen het dashboard, inclusief de rapportage, beschouwen als een test-omgeving. Deze betrokkenen zouden ervan op de hoogte zijn dat de resultaten niet gebruikt mochten worden (voor handhavingsdoeleinden). Daarnaast zouden de vaarweginspecteurs zich bewust zijn van de privacyrisico's van het algoritme.

Volgens de ambtelijke organisatie zouden de vaarweginspecteurs het algoritme pas willen gebruiken wanneer zeker is dat het algoritme aan alle wet- en regelgeving voldoet. Juist ook omdat de vaarweginspecteurs er belang aan hechten dat hun besluit ook in bezwaar en beroep stand houdt.  Naar aanleiding van ons onderzoek is de toegang tot de rapportages in december 2022 beperkt tot beleidsadviseurs van het team Digitale Gracht. Aan het eind van ons onderzoek (juni 2023) is nog niet duidelijk of aan alle relevante regels is voldaan.  Het college schrijft in het Jaarverslag 2022 dat er verder onderzoek en ontwikkeling nodig is om potentiële illegale vaarbewegingen te kwantificeren met automatische detectie. 

Sturing en verantwoording

Over het thema sturing en verantwoording schreven we eerder het volgende (paragraaf 2.3):

"Om te kunnen sturen op hetgeen het gemeentebestuur wil bereiken en zich naar binnen en buiten toe te kunnen verantwoorden over wat hij doet en waarom, legt het gemeentebestuur afspraken vast. Dit soort afspraken kunnen gaan over het doel van het algoritme, de afweging om het algoritme in te zetten, het betrekken van burgers, de rollen en verantwoordelijkheden, het managen en documenteren van verschillende fasen van het algoritme, risico-afwegingen bij het gebruik van het algoritme en afspraken met externe partijen over bijvoorbeeld aansprakelijkheid."

Het thema sturing en verantwoording uit ons toetsingskader gaat in op acht risico's die een correcte werking van het algoritme kunnen verhinderen. Ons beeld is dat de ambtelijke organisatie zich voldoende bewust is van de mogelijke risico's met betrekking tot dit thema. Voor drie van de acht risico's zijn bij de onderzochte casussen beheersmaatregelen getroffen die de risico's in opzet afdekken (zie kader Risico's waarvoor beheersmaatregelen zijn getroffen om het risico in opzet af te dekken). Voor de overige vijf risico’s geldt dat vier risico in redelijke mate worden afgedekt en één risico in beperkte mate wordt afgedekt door de getroffen beheersmaatregelen.

Hoe zijn we tot ons oordeel gekomen?
De bijlagen 2 tot en met 4 bevatten onze individuele beoordelingen van de drie algoritmen. Daarbij geven wij per risico een van de volgende oordelen over de getroffen beheersmaatregel:
1. De getroffen beheersmaatregel is in opzet in orde om het risico af te dekken;
2. De getroffen beheersmaatregel dekt in opzet het risico in redelijke mate af;
3. De getroffen beheersmaatregel dekt in opzet het risico in beperkte mate af;
4. Er is geen beheersmaatregel getroffen.
In dit hoofdstuk zijn we uitgegaan van het gemiddelde beeld dat de drie algoritmen per risico laten zien. Het kan dus zijn dat we over twee algoritmen oordelen: "de getroffen beheersmaatregel is in opzet in orde om het risico af te dekken", en dat we voor het derde algoritme tot het oordeel komen: "de getroffen beheersmaatregel dekt in opzet het risico in beperkte mate af". In dat geval zien we het als gemiddeld in orde, en is het opgenomen in het onderstaande kader. Dit geldt ook voor onze oordelen in de paragrafen 3.3 tot met 3.5.

Op het thema sturing en verantwoording zien wij vier rode draden (zie paragrafen 3.2.1 tot en met 3.2.4).

Onduidelijke criteria over wat een algoritme is

In paragraaf 2.2.3 constateerden we dat het voor de Amsterdamse ambtelijke organisatie niet helder is wat wel en niet als algoritme moet worden aangemerkt en wanneer daar over gerapporteerd moet worden in het algoritmeregister. In de casusonderzoeken constateren wij dit nogmaals. Zowel met de teams van het algoritme Detectie illegale onderhuur als van het algoritme Behandeling aanvraag Bbz-uitkering hebben we gesprekken gevoerd over wat 'algoritmen' zijn. De definitie die wij in navolging van de Algemene Rekenkamer hanteren, werd in eerste instantie te breed ervaren. In de ogen van onze gesprekspartners zou een model pas een 'algoritme' zijn als het model bijvoorbeeld zelflerend is, als er sprake is van geautomatiseerde besluitvorming, van profilering in de zin van de AVG, of wanneer er anderzijds sprake zou zijn van een 'hoog' risico voor burgers en/of bedrijven.

Doelrealisatie algoritme heeft aandacht, aandacht voor alternatieven beperkt

Het is belangrijk dat de ambtelijke organisatie eerst goed afweegt of het beoogde algoritme de meest effectieve en efficiënte manier biedt om de (maatschappelijke) doelen te bereiken, voordat de organisatie het algoritme ontwikkelt of inkoopt. Ook moet eerst worden afgewogen wat de risico's van de verschillende methoden zijn. Om dit goed te kunnen doen, moet vooraf inzichtelijk worden gemaakt wat het te bereiken maatschappelijke doel is, en hoe het algoritme gaat bijdragen om dat doel te verwezenlijken. Tot slot is het van belang om het algoritme af te zetten tegen alternatieven; andere algoritmetypen en andere instrumenten dan algoritmen.

Gaat het algoritme ook persoonsgegevens verwerken, dan moet worden vastgesteld dat deze inbreuk op privacy in verhouding staat tot het te realiseren doel, dat zo min mogelijk gegevens worden verwerkt ('proportionaliteit') en dat het te bereiken doel niet op een andere, minder ingrijpende wijze kan worden gerealiseerd ('subsidiariteit'). 

We komen tot de conclusie dat de ambtelijke organisatie voldoende aandacht heeft voor de doelstelling van het algoritme in kwestie en welke achterliggende maatschappelijke doelstellingen daarmee zouden moeten worden gehaald.  We zien daarentegen bij alle drie de onderzochte casussen dat de alternatieven om dezelfde (achterliggende) doelen te bereiken niet goed zijn overwogen.  De kans om een algoritme te ontwikkelen leek vaak de aanleiding om het ook daadwerkelijk te gaan doen (zie kader). Het beginsel van dataminimalisatie is bij alle drie de algoritmen wel in acht genomen. 

Het valt ons verder op dat tijdens het ontwikkelen of inkopen van een algoritme nog weinig werd nagedacht over de monitoring van prestaties en kwaliteitsdoelstellingen.  Ook worden risico's bij de toepassing van het algoritme niet altijd periodiek (her)overwogen.  Daarnaast valt op dat wanneer er sprake is van een inkooprelatie, de monitoring vaak wordt belegd bij een externe leverancier.  De prestaties worden dan uitgedrukt in servicegerichte indicatoren (zoals onderhoud en uptime) en niet in termen van kwalitatieve indicatoren (zoals de accuraatheid van het algoritme).

Haalbaarheidsoverweging ontbreekt

Het valt ons in het casusonderzoek op dat er algoritmen worden ontwikkeld of ingekocht voordat voldoende duidelijk is of de beoogde werkwijze in combinatie met het algoritme wel toegestaan en mogelijk is (voor relevante vragen bij een dergelijke haalbaarheidsoverweging, zie kader).  Eventuele belemmerende factoren zoals de privacywetgeving (AVG), gebrek aan data vanwege afhankelijkheid van een externe partij, of introductie van mogelijke bias, komen in dergelijke gevallen pas aan het licht nadat er veel tijd en geld in het algoritme is gestoken.

Besluitvorming over algoritmen vooral een ambtelijke aangelegenheid

Het valt ons op dat de ambtelijke organisatie vrijwel alle belangrijke besluiten over het algoritme gedurende de levenscyclus van het algoritme zelf neemt. Dus zonder het college erbij te betrekken.  Het college is enkel betrokken bij overkoepelende beleidsbeslissingen en over het programmabudget. Aan het college worden geen beslissingen voorgelegd over de overgang van het algoritme naar de volgende fase in de levenscyclus, over een ingrijpende wijziging aan het algoritme, of over de wenselijkheid van bepaalde of mogelijke systematische afwijkingen in model of data (mogelijke bias). 

In de met ons gevoerde gesprekken heeft de ambtelijke organisatie aangegeven dat het college van B en W het doel (het ‘wat’) bepaalt.  De manier waarop het doel bereikt wordt (het ‘hoe’) is een verantwoordelijkheid van het management van de ambtelijke organisatie. Voor de ambtelijke organisatie ligt het daarom niet direct voor de hand om besluitvorming over de keuze voor een algoritme of keuzen binnen een algoritme voor te leggen aan het college, zeker niet als het een eenvoudig of een laag risico-algoritme is.  Daarbij speelt ook een rol dat het voorleggen van een besluit aan het college gevolgen heeft voor de doorlooptijd en financiële gevolgen heeft.  Een deel van de ambtelijke organisatie mist handvatten wanneer het college betrokken moet worden. Een ander deel geeft aan dat de betrokkenheid van het college gewenst kan zijn wanneer het algoritme een hoger risicoprofiel heeft. Het risicoprofiel van een algoritme wordt bijvoorbeeld hoger als er sprake is van geautomatiseerde besluitvorming, profilering in de zin van de AVG of als het algoritme moeilijk uitlegbaar is. Weer een ander deel vindt het lastig om te bepalen wanneer het passend is om naar het college te gaan en wanneer niet. Volgens de CIO is er soms sprake van een vooringenomenheid dat de politiek niet goed is in het maken van technische afwegingen. Volgens de CIO wordt in de ambtelijke organisatie onvoldoende onderkend dat ethische afwegingen ook politieke afwegingen kunnen zijn. 

We kunnen ons voorstellen dat het niet wenselijk is om bij elke - vaak technische - kwestie een besluit van het college te vragen. Tegelijkertijd zijn het college van B en W en de burgemeester, ieder vanuit hun eigen taken, bestuurlijk verantwoordelijk voor het toepassen van algoritmen die door of namens de gemeente worden uitgevoerd. De vak-portefeuillehouder is bestuurlijk verantwoordelijk voor de betrouwbaarheid van het algoritme.   Dit roept dan ook de vraag op hoe het college die verantwoordelijkheden kan waarmaken.

Afspraken met externe partijen grotendeels op orde
Bij alle drie onderzochte casussen was er sprake van een samenwerking met een externe partij. Daarbij valt op dat er sprake is van veelal goed vastgelegde en heldere afspraken, waarbij het college haar verantwoordelijkheden grotendeels naar behoren kan vervullen.  Voorbeelden hiervan zijn afspraken over eigendom van de data en afspraken over de service, het beheer en het onderhoud met betrekking tot het algoritme.

Tegelijkertijd gaat nog niet alles goed. Zo is er bij twee casussen waarbij er sprake is van een samenwerking met een externe partij geen 'exit-regeling' afgesproken waarin staat wat er moet gebeuren als het contract om wat voor reden dan ook eindigt.  Ook valt op dat er minder aandacht is voor eigenaarschap van het model en dat de gemeente in alle drie de casussen op een bepaalde manier afhankelijk is van externen (zie paragraaf 3.3.4). Volgens de betrokken teams is er met de komst van opgavegericht werken meer aandacht voor afhankelijkheid van derden. 

Daarnaast wordt bij het algoritme Behandeling aanvraag Bbz-uitkering een verwerkersovereenkomst van de externe partij gehanteerd, waarvan niet is vastgesteld of deze overeenkomt met de standaard Amsterdamse verwerkersovereenkomst.  Dit roept bij ons de vraag op of het college haar verantwoordelijkheden als verwerkingsverantwoordelijke in de zin van de AVG waar kan maken.

Tot slot wordt bij het algoritme Detectie illegale onderhuur gerekend op data van woningcorporaties, maar willen de betrokken woningcorporaties deze data niet delen.  De ontwikkeling van het model ligt mede hierdoor al lange tijd stil.

Model en data

Het onderdeel model en data gaat onder meer over de vraag of de ambtelijke organisatie voldoende aandacht heeft voor de kwaliteit van de data en de ontwikkeling, en het gebruik en het onderhoud aan het algoritme. Belangrijk daarbij is het uitvoeren van controles om de juiste werking van het algoritme te kunnen garanderen. Ook is het in het kader van model en data belangrijk dat het beheerskader waarborgen stelt om eventuele vooroordelen in de gebruikte data en in het model te voorkomen (bias), dat er niet meer gegevens worden verzameld dan nodig is om het beoogde doel van het algoritme te bereiken (dataminimalisatie) en dat de output van het model wordt getoetst.

Het thema model en data uit ons toetsingskader gaat in op 22 risico's die een correcte werking van het algoritme kunnen verhinderen. Ons beeld is dat de ambtelijke organisatie zich voldoende bewust is van de mogelijke risico's met betrekking tot dit thema.

1 van de 22 risico’s was niet van toepassing op de 3 onderzochten algoritmen.   Voor 9 van de 22 risico's zijn bij de onderzochte casussen beheersmaatregelen getroffen die in opzet de risico's afdekken (zie kader Risico's waarvoor beheersmaatregelen zijn getroffen om het risico in opzet af te dekken). Voor de overige 12 risico’s geldt dat 9 risico’s in redelijke mate worden afgedekt en 3 risico’s in beperkte mate worden afgedekt door de getroffen beheersmaatregelen.

Op het thema 'model en data' zien wij drie rode draden (zie parafen 3.3.1 tot en met 3.3.3).

Ambtelijke organisatie treft beheersmaatregelen om bias te voorkomen

Bij het gebruik van algoritmen kan er sprake zijn van bias: onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden.  Bij het automatiseren van de historische werkwijze kunnen biases die al in de werkwijze zaten, voortduren of zelfs versterkt worden.  Bij het creëren van een nieuwe werkwijze aan de hand van een algoritme kunnen ook nieuwe biases ontstaan.

Wat is bias?
Biases zijn onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden.  De systematische afwijkingen vinden dan plaats op kenmerken, waarvan we als maatschappij vinden dat die er niet toe zouden moeten doen. Het college van B en W geeft aan dat systematische afwijkingen op basis van nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse of genetica door Amsterdam als onwenselijk te zien.  Voor meer informatie, zie het kader Wat is bias? in paragraaf 2.4.

Met betrekking tot bias komen we tot de conclusie dat de ambtelijke organisatie oog heeft voor het bestaan van systematische afwijkingen en bias. De ambtelijke organisatie heeft redelijke beheersmaatregelen getroffen om bias zo veel mogelijk  te voorkomen, gegeven de fase waarin de algoritmen zich bevinden.  Voor het algoritme Detectie illegale onderhuur zijn alle beslisregels op kwalitatieve wijze tegen het licht gehouden en is deze exercitie gedocumenteerd. Op basis van deze exercitie zijn sommige beslisregels geheel geschrapt, andere zijn aangepast. Voor enkele beslisregels is geconcludeerd dat er waarschijnlijk een (lage) kans op bias is, maar daar is daarna niets meer mee gedaan. De ambtelijke organisatie heeft wel het voornemen om de kwaliteit van de resultaten te borgen zodra de ontwikkeling van het algoritme weer van start gaat. 

Een kwantitatieve toets (zie paragraaf 3.6.1) om de uitkomsten van het algoritme Detectie illegale onderhuur te toetsen op systematische afwijkingen ontbreekt vooralsnog. Dat is gegeven de huidige fase van het algoritme ook logisch. Het is in deze fase niet mogelijk om deze toets uit te voeren, omdat data vooralsnog ontbreken. Een dergelijke toets is echter wel noodzakelijk omdat het inherent risico op bias bij het filteren van adressen op verdachte kenmerken erg hoog is. Het inherente risico is hoog, omdat we het zeer waarschijnlijk achten dat er systematische afwijkingen ontstaan op kenmerken als sociale klasse, economische situatie en etniciteit, wanneer er gefilterd wordt op criteria die op basis van historische data en/of ervaringen als 'verdacht' worden gezien. In de kern betekent dit dat sociale huurders met bepaalde kenmerken - die er niet toe doen, maar juist vanwege deze kenmerken - ongelijke kansen kunnen hebben om gecontroleerd te worden.

Voor de andere twee algoritmen is er meer sprake geweest van een iteratief proces waarbij er veel aandacht is geweest voor mogelijke systematische afwijkingen en bias, maar waarbij de afwegingen en beslissingen met betrekking tot bias niet zijn gedocumenteerd. Deze algoritmen hebben echter een lager inherent risico op systematische afwijkingen en bias dan het algoritme Detectie illegale onderhuur, omdat de gebruikte selecties beperkter zijn en de data breder. Bij het algoritme Detectie illegale passagiersvaart vindt er weliswaar filtering plaats op verdachte kenmerken (alle vaartuigen die minimaal twee keer per week en minimaal twee keer per dag op twee of meer dezelfde sensoren waargenomen worden, komen in de rapportage), maar deze selectiecriteria zijn in aantal beperkter en bovendien universeler van aard. 

Bij het algoritme Behandeling aanvraag Bbz-uitkering zijn de gebruikte data per definitie representatief voor de aanvrager, waardoor het inherente risico eveneens beperkt is. Bij dit algoritme is wel aandacht voor bias in de besluitvorming door bijvoorbeeld een vier-ogenprincipe te hanteren bij elk besluit en door trainingen te geven aan Bbz-behandelaars in het maken van besluiten in het kader van de Bbz en het gebruik van het algoritme. 

Vraagstuk: wanneer het bestuur betrekken?
Wat daarnaast opvalt, is dat de ambtelijke organisatie mogelijke vormen van systematische afwijkingen in de resultaten van het model, die volgens de beschrijving van het college  bij voorbaat niet als onwenselijk worden geacht maar wellicht wel onwenselijk zijn, niet expliciet communiceert met het gemeentebestuur (zie ook paragraaf 3.2.4). Bij het algoritme Detectie illegale passagiersvaart worden bijvoorbeeld alleen vaartuigen geregistreerd die wekelijks soortgelijke routes varen, waardoor het systeem niet in staat is om illegale passagiersvaart te detecteren die minder vaak (bijvoorbeeld maandelijks of tweewekelijks) voorkomt.

Omdat er weinig communicatie is met het gemeentebestuur over dergelijke afwijkingen krijgt het gemeentebestuur niet de mogelijkheid om een standpunt in te nemen met betrekking tot de (on)wenselijkheid en de ernst van de mogelijke systematische afwijkingen van het model en/of de data. Daarbij moet wel rekening worden gehouden met het feit dat het creëren van systematische afwijkingen in de resultaten van het model niet te voorkomen is wanneer de selecties worden gemaakt op basis van verdachte kenmerken (sampling bias) en er geen gerandomiseerde selecties worden gemaakt.

Geen geautomatiseerde besluitvorming, rol algoritme in besluit onderbelicht

Bij geen van de onderzochte algoritmen is sprake van volledig geautomatiseerde besluitvorming.  Er is dus altijd sprake van tussenkomst door een mens, voordat er een besluit wordt genomen. Dit is in lijn met de algemene maatregel van het college van B en W dat er altijd sprake moet zijn van menselijke tussenkomst bij algoritmen.  Dat neemt niet weg dat advies en informatievoorziening door algoritmen van grote invloed kunnen zijn op het besluit dat uiteindelijk door een mens wordt genomen. Het is daarom belangrijk om bij besluiten altijd helder en toegankelijk uit te leggen welke rol het algoritme heeft gespeeld bij de besluitvorming en welke gegevens en aannames zijn gebruikt (AERIUS-criteria). 

Twee van de onderzochte algoritmen (Detectie illegale passagiersvaart en Detectie illegale onderhuur) bevinden zich nog in de ontwikkelfase; het algoritme wordt nog niet gebruikt om tot besluitvorming te komen. Indien deze algoritmen operationeel worden, gaan de algoritmen wel leiden tot adviezen of informatievoorziening die worden meegenomen in het besluit dat wordt gemaakt door een mens. Voor deze algoritmen is nog geen sjabloon ontwikkeld voor besluiten waarbij gebruik is gemaakt van adviezen of informatie die zijn voortgekomen uit het algoritme. 

Het algoritme voor het advies bij het nemen van Bbz-besluiten is al wel in gebruik. Bij dit algoritme wordt in de besluiten nog niet vermeld dat er gebruik is gemaakt van een algoritme om te komen tot een besluit. De rapportage die volgt uit het algoritme wordt niet bij het besluit gevoegd, en wordt ook niet met de aanvrager besproken.

Gemeente is bij de algoritmen afhankelijk van derden

Het valt ons op dat bij alle drie de onderzochte algoritmen sprake is van een bepaalde afhankelijkheid van derden.  In het geval van het algoritme Detectie illegale onderhuur is er gekozen voor een model waarbij de functionaliteit sterk steunt op data die verkregen zouden moeten worden van Amsterdamse woningcorporaties. In dit geval hebben de corporaties de toegang tot deze data nog niet toegezegd, waardoor de ontwikkeling van het model nu al voor een lange tijd stilligt.

Voor het algoritme Detectie illegale passagiersvaart is het eigenaarschap over het dashboard waarin het algoritme is gebouwd (‘Digitale Gracht’) in handen van een derde partij. Bovendien is de gemeente afhankelijk van deze partij voor het beheer en onderhoud aan de sensoren die de benodigde data vergaren. Voor de Bbz-aanvragen is er sprake van inkoop van het algoritme als dienst, waardoor de gemeente voor de taakstelling van de Bbz gedeeltelijk afhankelijk wordt van een derde partij. In beide gevallen hebben de derde partijen commerciële belangen die niet in alle gevallen zullen rijmen met de belangen van de gemeente.

Bij de inzet van algoritmen in het algemeen bestaat er een risico dat de gemeente te afhankelijk wordt van derden. De voornaamste redenen hiervoor zijn afhankelijkheid omdat er sprake is van inkoop. In een dergelijk geval koopt de gemeente een algoritme in als dienst (een soort abonnement; ofwel Software as a Service), of wordt er een algoritme ingekocht als pakket, zonder dat de gemeente de rechten op het model in handen krijgt. Hierdoor kan de gemeente zeer afhankelijk worden wanneer het algoritme essentieel onderdeel wordt van een bepaald proces. Ook brengt dit het nadeel met zich mee dat de gemeente de broncode van het algoritme in kwestie niet zomaar openbaar kan maken. 

Het College voor de Rechten van de Mens (CvdRM) heeft in 2023 een zogenaamd ‘position paper’ geschreven waarin het ingaat op de vraag of broncode openbaar moet zijn in het geval het intellectueel eigendom berust bij een externe ontwikkelaar. Het CvdRM is daarover duidelijk: het niet-openbaar maken van broncode is rechtstatelijk niet te rechtvaardigen, zelfs wanneer er sprake is van ontwikkeling van het algoritme door een derde partij. 

Een andere belangrijke reden voor afhankelijkheid kan voorkomen omdat een deel van de voor het algoritme benodigde data in handen is van andere partijen dan de gemeente, aldus de ambtelijke organisatie. 

Privacy

Over het thema privacy schreven we eerder het volgende in paragraaf 2.5:

“Algoritmen gebruiken vaak persoonsgegevens om naar behoren te functioneren. De betrokken personen hebben recht op privacy, en het is daarom belangrijk dat er goede waarborgen zijn om de privacy te behouden. De Algemene Verordening Gegevensbescherming (AVG) die in mei 2018 in werking is getreden, heeft tot doel de privacy van Europese burgers te beschermen door te reguleren hoe persoonsgegevens worden verzameld, verwerkt en opgeslagen, en om privacyrechten van burgers verder te verankeren. Het is daarom belangrijk om na te denken over hoe algoritmen worden ontworpen en gebruikt, en hoe deze zich verhouden tot de AVG en andere privacywetten. Het zo veel mogelijk beperken van de impact van algoritmen op de privacy van individuen vraagt om een verantwoorde manier van ontwikkelen en gebruik van algoritmen. Het is daarom belangrijk dat het Amsterdamse beheerskader voor algoritmen hier voldoende aandacht voor heeft. ”

Het thema privacy uit ons toetsingskader gaat in op dertien risico's die een correcte werking van het algoritme kunnen verhinderen. Een van de dertien risico’s was niet van toepassing op de drie onderzochten algoritmen.  Voor drie van de dertien risico's zijn bij de onderzochte casussen beheersmaatregelen getroffen die in opzet het risico's afdekken (zie kader Risico's waarvoor beheersmaatregelen zijn getroffen om het risico in opzet af te dekken). Voor de overige negen risico’s geldt dat twee risico’s in redelijke mate worden afgedekt, vijf risico’s in beperkte mate worden afgedekt en dat er voor twee risico’s geen beheersmaatregelen zijn getroffen.

In vergelijking tot de drie andere thema's (sturing en verantwoording, model en data, en IT-beheer) zien we daarom bij dit thema vaker middelhoge tot hoge restrisico's die een correcte werking van het algoritme kunnen verhinderen.

Op het thema 'privacy' zien wij drie rode draden (zie paragrafen 3.4.1 tot en met 3.4.3).

Data Protection Impact Assessment en verwerkingsregister zijn onderbelicht

De analyse van de drie algoritmen laat zien dat de Data Protection Impact Assessment (DPIA) en het verwerkingsregister te laat in het ontwikkelproces worden uitgevoerd.

Data Protection Impact Assessment (DPIA)
De Autoriteit Persoonsgegevens geeft aan dat zo vroeg mogelijk moet worden gestart met de DPIA, om zo aan de wettelijke vereiste principes van privacy by design en privacy by default te voldoen.  Een DPIA is een instrument om vooraf de privacyrisico’s van een gegevensverwerking in kaart te brengen, met als doel dat de organisatie maatregelen kan nemen om deze risico’s te verkleinen.  Met een DPIA wordt in een vroegtijdig stadium onder meer getoetst welke gegevens nodig zijn voor het algoritme, en of verwerking daarvan wettelijk is toegestaan (wettelijke grondslag). Ook wordt getoetst of er sprake is van profilering in de zin van de AVG.

Het voorschrift van de gemeentelijke organisatie is in lijn met het standpunt van de Autoriteit Persoonsgegevens. Nog voordat met het algoritme persoonsgegevens worden verwerkt, moet de 'pre-scan' voor een DPIA worden uitgevoerd. Met die 'pre-scan' kan worden beoordeeld of er sprake is van een hoog risico voor de rechten en vrijheden van betrokkenen en daarmee of de DPIA moet worden uitgevoerd. 

De Autoriteit Persoonsgegevens geeft aan dat het opstellen van de DPIA geen eenmalige opdracht is, maar een continu proces. De ambtelijke organisatie zal moeten (blijven) monitoren of de gegevensverwerking (door het algoritme) wijzigt en of daarom de DPIA moet worden bijgesteld. 

Bij het algoritme Detectie illegale onderhuur is tijdig een DPIA opgesteld en zijn nieuwe DPIA's opgesteld naar mate het algoritme verder werd ontwikkeld en de gegevensverwerking wijzigde. Voor de overige twee algoritmen is te laat gestart met het opstellen van een DPIA. Voor het algoritme Behandeling aanvraag Bbz-uitkering is de gemeente pas nadat het algoritme al in de praktijk werd toegepast gestart met het opstellen van een DPIA. Eind mei 2023 was deze concept-DPIA nog niet vastgesteld. Voor het algoritme Detectie illegale passagiersvaart is aangegeven (eind augustus 2023) dat de concept-DPIA voor het algoritme is opgesteld, dat daarbij is getoetst op profilering en dat de concept-DPIA is voorgelegd aan de Functionaris Gegevensbescherming (FG). Het algoritme verwerkt sinds mei 2021 echter al persoonsgegevens. 

In september 2023 geeft de ambtelijke organisatie aan dat het ingerichte proces en de tools van Opgavegericht en Wendbaar Werken de late start van het opstellen van een DPIA zouden kunnen ondervangen. Enerzijds doordat eerder in het proces bekend is of een DPIA verplicht is, anderzijds doordat wordt nagegaan of de DPIA is afgerond voordat het algoritme wordt toegepast. 

Verwerkingsregister
Gemeenten zijn verplicht een verwerkingsregister bij te houden. De gemeente Amsterdam doet dit ook.  In het verwerkingsregister houdt de gemeente onder meer bij welke persoonsgegevens worden verwerkt en hoelang ze bewaard worden, met welk doel ze worden verwerkt, wat de wettelijke grondslag daarvoor is en wie de betrokkenen zijn. 

Zodra het algoritme persoonsgegevens verwerkt, moet het algoritme worden opgenomen in het gemeentelijke verwerkingsregister.  Het is daarbij niet van belang of het algoritme nog in ontwikkeling is of al in de praktijk wordt toegepast. Het algoritme moet zowel in het register worden opgenomen als het getest wordt met persoonsgegevens (zoals het geval is bij de algoritmen Detectie illegale passagiersvaart en Detectie illegale onderhuur) en als het algoritme in de praktijk toegepast wordt (zoals bij het algoritme Behandeling aanvraag Bbz-uitkering).

Bij de start van de drie casusonderzoeken maakte het algoritme geen onderdeel uit van het gemeentelijke verwerkingsregister.  De ambtelijke organisatie gaf aan dat men in de veronderstelling was dat het verwerkingsregister pas hoefde te worden ingevuld wanneer het algoritme in gebruik zou worden genomen.  Voor relatief eenvoudige algoritmen die zich nog in de testfase bevinden, zien we binnen de ambtelijke organisatie behoefte om persoonsgegevens te kunnen verwerken zonder dat elk testalgoritme afzonderlijk moet worden opgenomen in het verwerkingsregister. 

Deze bevindingen gaven ons aanleiding om het Amsterdamse verwerkingsregister te raadplegen (juli 2023) en na te gaan hoeveel algoritmen zijn geregistreerd. Het meest recente openbare verwerkingsregister dateert van maart 2023. In deze versie is slechts één algoritme expliciet benoemd: het algoritme Public Eye. 

Het alsnog opnemen van het algoritme in het verwerkingsregister tijdens de onderzoeksperiode bleek niet eenvoudig en vroeg veel tijd. De ambtelijke organisatie heeft aangegeven dat andere privacyvraagstukken met voorrang werden uitgevoerd door een beperkte ambtelijke capaciteit van privacy- en security officers, en leden van het team Functionaris Gegevensbescherming. Daarnaast zorgde ook de overstap naar een nieuw verwerkingsregister voor problemen, waardoor bestaande verwerkingen niet aan het nieuwe register konden worden toegevoegd of konden worden herzien. 

Beoordeling profilering onjuist

Profilering is, volgens de AVG, elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen.  Profilering bestaat volgens de AVG uit drie elementen: 

1. Het moet een geautomatiseerde vorm van verwerking zijn;
2. Het moet betrekking hebben op persoonsgegevens;
3. Het doel van de profilering moet het evalueren van persoonlijke aspecten van een natuurlijk persoon zijn.

Voor de drie onderzochte algoritmen vinden wij dat er sprake is van profilering. Bij het algoritme Detectie illegale passagiersvaart worden vaarroutes van vignethouders geanalyseerd, bij het algoritme Detectie illegale onderhuur worden signalen over mogelijke woonfraude op adresniveau verzameld, en bij het algoritme Behandeling aanvraag Bbz-uitkering wordt een voorspelling gemaakt over de levensvatbaarheid van de ondernemingsactiviteiten.  In alle gevallen is er sprake van geautomatiseerde verwerking van persoonsgegevens met het doel de aspecten van een natuurlijk persoon te evalueren. De risico’s rond profilering (zie kader Tegen welke risico's moeten betrokkenen worden beschermd?) zijn bij deze algoritmen minder groot, omdat er bij geen van de drie algoritmen sprake is van geautomatiseerde besluitvorming. 

De sjabloon-DPIA is in september 2023 geactualiseerd. Het bevat dezelfde definitie van profilering als de AVG. Verder is hierin opgenomen dat het nemen van beslissingen op basis van profilering kan uitgelegd worden als discriminatie van bepaalde groepen. Als toch gebruikgemaakt wordt van profileringen, dan roept de sjabloon-DPIA op om duidelijk te zijn op basis waarvan deze profielen worden opgesteld, welke beslissingen op welke wijze worden genomen op basis van de profielen en of uit profielen gevoelige informatie is af te leiden. Ook moeten betrokkenen geïnformeerd worden over deze profilering en mogelijke beslissingen. 

De drie teams hadden bij de start van het casusonderzoek een andere inschatting gemaakt en kwamen tot de conclusie dat er geen sprake was van profilering. Logischerwijs is daarom bij geen van de drie algoritmen door de ambtelijke organisatie onderzocht of de profilering wettelijk is toegestaan, en zijn betrokkenen wiens gegevens (tijdelijk) door het algoritme zijn verwerkt niet geïnformeerd over de profilering en de gevolgen daarvan.  In die zin ondersteunt het sjabloon DPIA de ambtelijke organisatie op deze punten onvoldoende. De DPIA bevat geen uitleg bij de term profilering, bevat geen vraag of profilering is toegestaan, en bevat geen suggestie dat de betrokkenen moeten worden geïnformeerd.  Het team dat verantwoordelijk is voor het algoritme Behandeling aanvraag Bbz-uitkering heeft tijdens het rekenkameronderzoek een nieuwe concept-DPIA opgesteld en heeft daarin aangegeven dat er wel sprake is van profilering. 

In de diverse gesprekken die wij hebben gevoerd met de ambtelijke organisatie en externe vertegenwoordigers van het algoritme, hebben wij gemerkt dat de term 'profilering' als negatief of (bestuurlijk) gevoelig wordt ervaren. De ambtelijke organisatie en de leveranciers willen liever niet (dat hun algoritme) met profilering wordt geassocieerd.

Burgers niet geïnformeerd dat algoritme hun gegevens gebruikt

De Algemene Verordening Gegevensbescherming (AVG) verlangt van de gemeente transparant te zijn over het verwerken van persoonsgegevens en de rechten van betrokkenen.  Ook als deze gegevens worden verwerkt door een algoritme. Zo moet de gemeente betrokkenen van wie ze persoonsgegevens verwerkt, over deze verwerking informeren uit eigen beweging en op verzoek.  Zeker als er sprake is van profilering en/of geautomatiseerde besluitvorming.  In dergelijke gevallen moet de betrokkene ook worden geïnformeerd over dat er gegevens worden verwerkt om een profiel op te bouwen, dat zijn profiel betrokken wordt bij besluitvorming en dat hij hiertegen bezwaar kan maken. Verder moet de betrokkene inhoudelijk over zijn profiel worden geïnformeerd, bijvoorbeeld in welk "segment" of in welke "categorie" hij is ingedeeld. Het is bovendien een verplichting op grond van de AVG om de betrokkene informatie te verstrekken over het belang van het algoritme, de onderliggende logica van het algoritme  en de mogelijke (persoonlijke) gevolgen  van het algoritme.  

Uit paragrafen 3.3.2 en 3.4.2 blijkt dat het college de betrokkenen in beperkte mate proactief (uit eigen beweging) informeert over het algoritme en de betrokkenen niet heeft geïnformeerd over profilering. Amsterdam beschikt over een openbaar algemeen privacybeleid Stedelijk kader verwerken persoonsgegevens door de gemeente Amsterdam (d.d. 25 september 2018). In dit privacybeleid is echter geen aandacht voor de gebruikte data en algoritmen (zie ook paragraaf 2.3).  Gedurende ons onderzoek is de privacyverklaring Bijstandsuitkering ondernemers aangepast, waarin het bestaan van het algoritme is benoemd en op hoofdlijnen de werking van het algoritme is uitgelegd. In het Bbz-besluit wordt de betrokkene nog niet over het algoritme geïnformeerd. De privacyverklaring Toezicht & Handhaving Wonen bevat een link naar de pilot Woonfraude algoritme. Deze link geeft echter informatie over het algoritme Handhaving illegale vakantieverhuur in plaats van over het algoritme Detectie illegale onderhuur. De privacyverklaring Verkeersmanagement op de gracht en binnenhavengeld en een informatievideo op de gemeentelijke website geven aan dat de RFID-data gebruikt kunnen worden voor handhaving en toezicht, maar geven geen informatie over het algoritme. Ook zijn de houders van een vignet voor pleziervaart niet actief geïnformeerd over (de gevolgen van) het algoritme.  Uit de gesprekken met de ambtelijke organisatie blijkt dat het voor hen een vraag is vanaf welke fase van de levenscyclus de betrokkene moet worden geïnformeerd over het bestaan van het algoritme.  Het antwoord op die vraag luidt: op het moment dat er persoonsgegevens door het algoritme worden verwerkt. Dat kan dus ook al in de ontwikkelfase van een algoritme zijn.

IT-beheer

Over het thema IT-beheer schreven we eerder het volgende (paragraaf 2.6):

"Een goede inrichting van het IT-beheer is cruciaal voor het bewaken van de betrouwbaarheid, vertrouwelijkheid en beschikbaarheid van informatiesystemen en bij de inzet van algoritmen. Een organisatie neemt zogenaamde 'generieke IT-beheersmaatregelen' (GITC) om IT-systemen (waaronder algoritmen) te beveiligen en te beheersen. Voorbeelden van dit soort beheersmaatregelen zijn het inrichten en up-to-date houden van toegangsbeveiliging tot systemen, wachtwoordbeheer en het maken van back-ups."

Het thema IT-beheer uit ons toetsingskader gaat in op veertien risico's die een correcte werking van het algoritme kunnen verhinderen. Ons beeld is dat de ambtelijke organisatie zich voldoende bewust is van de mogelijke risico's met betrekking tot dit thema.

Voor negen van de veertien risico's zijn bij de onderzochte casussen beheersmaatregelen getroffen die in opzet het risico's afdekken (zie kader Risico's waarvoor beheersmaatregelen zijn getroffen om het risico in opzet af te dekken). Voor de resterende vijf van de veertien risico's geldt dat de getroffen beheersmaatregel in opzet het risico in redelijke mate afdekt.

Op het gebied van IT-beheer scoren de drie onderzochte algoritmen hoger dan op de andere drie thema's.

Het overkoepelende beeld dat wij hebben bij dit thema is dat de ambtelijke organisatie zich voldoende bewust is van de mogelijke risico's met betrekking tot IT-beheer, en voor het overgrote deel van deze risico's ook beheersmaatregelen heeft getroffen die deze risico's in redelijke mate of grotendeels afdekken.

In alle onderzochte cases is sprake van ‘security by design’. Dit blijkt uit het gehanteerde normenstelsel, naast reviews van de digitale omgeving waarin het algoritme functioneert.  Ook wordt in alle gevallen een geijkt normenstelsel (ISO-27001/BIO) gehanteerd met het oog op cybersecurity, dat onder meer blijkt uit externe certificeringen, en maatregelen zoals de versleuteling van wachtwoorden, een beveiligde internetverbinding (https) en rapportages van securitymanagement en -incidenten. 

Op het thema IT-beheer zien wij één rode draad (zie paragraaf 3.5.1).

Beperkt oog voor gemeentelijk toegangsbeheer bij inkoop algoritme

Bij alle drie de onderzochte algoritmen is het positief om te constateren dat het aantal personen beperkt is dat toegang heeft tot het onderliggende model of de data.  Ook de beveiliging van de algoritmen is in opzet in orde.  Positief is ook dat de gemeentelijke organisatie in maart 2022 heeft besloten om over te stappen naar een veiligere ontwikkel- en testomgeving voor algoritmen (Azure) met beter toegangsbeheer. 

Wel valt op dat het toegangsbeheer vaak niet goed belegd is bij de gemeente bij de twee algoritmen waar er sprake is van een inkooprelatie (Detectie illegale passagiersvaart en Behandeling aanvraag Bbz-uitkering).  De controle op het up-to-date houden van toegangsrechten met betrekking tot de omgeving waarin het algoritme functioneert, is vaak nog niet periodiek, of gebeurt handmatig.  Ook is er een gemengd beeld als het gaat om de uitgifte van toegangsrechten tot het model en de data door daarvoor bevoegde personen, variërend van een duidelijk ingebed autorisatiebeleid tot een informele gedragslijn. 

Er zijn bijvoorbeeld niet altijd heldere afspraken over wie bevoegd is om gebruikersaccounts aan te vragen, wie er bevoegd is om de aanvragen goed te keuren, wie de aanvraag vervolgens uitvoert, wat er moet gebeuren bij uitdiensttreding of functiewijziging van gebruikers, en tot slot wie controleert of toegangsrechten up-to-date zijn. Bij het algoritme Detectie illegale passagiersvaart en het algoritme Behandeling aanvraag Bbz-uitkering hanteren de externe partijen passende normen voor beveiligingsbeleid, maar werd aan de zijde van de gemeente tijdens het onderzoek onvoldoende duidelijk hoe bevoegdheden met betrekking tot toegangsbeheer verdeeld waren.  Hierdoor loopt de gemeente onnodig risico op onrechtmatige toegang tot het model en de data.

Een aandachtspunt bij het gebruik van beheeraccounts is dat deze gekoppeld moeten zijn aan specifieke gebruikers.  Bij het algoritme Detectie illegale passagiersvaart wordt er gebruikgemaakt van één generiek beheeraccount en twee gebruikersspecifieke accounts. Het instellen van een generiek beheeraccount, bijvoorbeeld 'administrator', vergroot de kans op onrechtmatig gebruik van dat account. Een ander aandachtspunt is om zo min mogelijk functionarissen toegang te geven tot beheeraccounts om het overzicht te vergroten en de kans op fouten te verkleinen. Bij het algoritme Detectie illegale onderhuur hebben drie van de dertien gebruikers beheerrechten.

Ethiek

Over het thema ethiek schreven we in paragraaf 2.7 het volgende:

Het laatste perspectief 'ethiek' is verweven in de vier eerder besproken thema's van sturing & verantwoording, model & data, privacy en IT-beheer (paragrafen 2.3 tot en met 2.6). De beoordeling van ethiek is gebaseerd op onze toetsing van de vier genoemde thema's.
Het begrip ethiek omschrijven wij als het kritisch nadenken over wat (moreel) goed is om te doen. In dit onderzoek hebben we ons gericht op de vier ethische perspectieven zoals voorgesteld door de Algemene Rekenkamer:

1 respect voor menselijke autonomie;
2 voorkomen van schade;
3 fairness (een eerlijk algoritme);
4 verklaarbaarheid en transparantie.

Het thema ethiek komt (net als de andere thema's) voort uit het kader van de Algemene Rekenkamer. De Algemene Rekenkamer heeft in haar toetsingskader de vier genoemde ethische perspectieven verder uitgewerkt in zeven ethische principes. Elk van deze principes bevat een aantal overwegingen (zie uitgebreid paragraaf 2.5). We hebben de drie algoritmen getoetst aan deze zeven ethische principes inclusief de overwegingen. Daarbij zijn twee soorten oordelen mogelijk:

Voldoende aandacht: op basis van de verkregen informatie hebben we het beeld dat de ambtelijke organisatie voldoende aandacht heeft voor het ethisch principe, omdat de evaluatie van de overwegingen bij dit principe aan de hand van de informatie merendeels positief uitvalt, of omdat er een gemengd beeld ontstaat waarbij de positieve punten zwaarder wegen dan de tekortkomingen.

Beperkt aandacht: op basis van de verkregen informatie hebben we het beeld dat de ambtelijke organisatie beperkt aandacht heeft (gehad) voor het ethisch principe, omdat de evaluatie van de overwegingen bij dit principe aan de hand van de informatie merendeels negatief uitvalt, of omdat er een gemengd beeld ontstaat waarbij de tekortkomingen zwaarder wegen dan de positieve punten.

In de onderstaande tabel zijn de zeven getoetste ethische principes opgenomen. Elk ethisch principe kent meerdere overwegingen. Ter illustratie hebben we in de onderstaande tabel telkens één overweging opgenomen. Voor een volledig overzicht van de overwegingen bij elk principe verwijzen we naar bijlagen 2 tot en met 4.

Tabel 3.1 - Zeven ethische principes

Ons overkoepelend beeld is dat er bij de onderzochte algoritmen voor vier van de zeven ethische principes voldoende aandacht is (zie kader Ethische principes met voldoende aandacht).

Voor de drie overige ethische principes  komen wij tot het oordeel 'beperkt aandacht'. In onderlinge samenhang  zien wij vier rode draden (zie paragrafen 3.6.1 tot en met 3.6.4).

Menselijke tussenkomst bij besluitvorming niet het enige instrument om bias te beperken

Het eerste ethische perspectief is respect voor de menselijke autonomie (E1). Met als ethische principe dat er sprake is van menselijke controle en toezicht (E1.1). Het derde ethische perspectief is fairness (E3). Onderdeel van dit perspectief is het ethische principe dat er sprake is van het houden van voldoende rekening met diversiteit in de populatie (E3.1). Deze rode draad gaat in op beide perspectieven.

In de huidige opzet geldt voor alle drie de onderzochte algoritmen dat er bij besluitvorming altijd sprake is van menselijke tussenkomst. Het algoritme neemt geen besluit, maar geeft een advies of informatie aan de ambtenaar. De ambtenaar kan deze informatie betrekken bij het nemen van een beslissing. Dit wordt door het college gezien als de belangrijkste algemene maatregel om bias bij algoritmen te ondervangen.  Een dergelijke maatregel kan een bias echter nooit volledig uitsluiten: hier dreigt het gevaar dat biases in het advies het uiteindelijk te nemen besluit beïnvloeden. 

Het is namelijk voorstelbaar dat ambtenaren vanwege gebrek aan tijd of kennis, of ingesleten systematische afwijkingen in gedrag of historische informatie, de informatie of adviezen die volgen uit een algoritme zullen overnemen, zonder deze kritisch te beoordelen op een mogelijke bias.  Daarbij komt dat mensen over het algemeen de neiging hebben om technologie te zien als 'objectief' en 'vrij van vooroordelen', waardoor ze bereid zijn om erop te vertrouwen, zelfs als ze niet volledig begrijpen hoe de technologie werkt ('automatiseringsbias'). 

Automatisering kan bias inzichtelijk en controleerbaar maken, maar vereist vergaande controle om bias uit te sluiten
De automatisering van bestaande werkwijzen kan ook helpen om biases aan het licht te brengen. Deze bestaande werkwijze kan namelijk al jarenlang biased zijn. De automatisering van de werkwijze kan helpen om te reflecteren, de biases in kaart te brengen en zo nodig te verwijderen. Dat is belangrijk, omdat alleen al de schijn van het bestaan van een bias in een algoritme (of een werkwijze) ondermijnend kan werken voor het vertrouwen in de overheid.

De data, resultaten of adviezen van een algoritme kunnen neutraal lijken, maar op grotere schaal kunnen ze onwenselijke systematische afwijkingen (bias) en ongelijkheden produceren.  Het is daarom belangrijk om de adviezen en/of de informatie die voortkomen uit algoritmen uitgebreid op kwalitatieve en kwantitatieve wijze te toetsen op bias (zie ook paragraaf 3.3.1). Voor modellen en werkwijzen die gebruikt worden voor (advisering bij) handhavings- en toezichtsdoeleinden en andere activiteiten die mogelijkerwijs grote impact kunnen hebben op burgers en bedrijven is daarom verdere analyse van selecties en uitkomsten noodzakelijk om bias verder uit te sluiten (zie kader Waarom het doorlichten van selectiecriteria meestal niet genoeg is).

Kwantitatieve analyses op bias kunnen problematisch zijn indien hiervoor grote hoeveelheden data met daarin privacygevoelige kenmerken benodigd zijn: bijvoorbeeld de zestien kenmerken waarvan het college heeft aangegeven dat daar geen onderscheid op mag worden gemaakt. Het team Detectie illegale onderhuur constateerde dit probleem ook in een interne kennissessie over bias en discriminatie.  Het is de vraag of het wenselijk is om op grote schaal gevoelige persoonsdata te verwerken met het doel om bias in algoritmen te toetsen en eventueel hiervoor te corrigeren, en of de veiligheid van dergelijke data wel voldoende kan worden gewaarborgd.

Daarbij komt het probleem dat de benodigde data om bias uit te sluiten vaak niet beschikbaar zijn (denk aan iemands politieke of seksuele voorkeur). Het college geeft ook zelf aan dat veel van deze data niet bij de gemeente bekend zijn en worden verwerkt.  Bij het algoritme Onderzoekswaardigheid ‘Slimme check’, een algoritme dat gebruikt wordt om te bepalen welke aanvragen voor levensonderhoud (bijstand) worden onderworpen aan een rechtmatigheidsonderzoek , toetst het college aan vier  van de zestien door het college geïdentificeerde kenmerken waarop bias kan plaatsvinden.  Het is de vraag of met dergelijke beperkte toetsing bias voldoende kan worden uitgesloten.

Te weinig aandacht voor bescherming privacy

Het tweede ethische perspectief is het voorkomen van schade voor de betrokkene. Onderdeel van dit perspectief is het ethische principe dat de privacy van de betrokkene is gewaarborgd en dat de data die door het algoritme worden gebruikt of worden gemaakt, zijn beschermd (ethisch principe 2.1 en 2.2; zie ook paragraaf 2.5).

Uit het casusonderzoek blijkt dat de data voldoende beschermd zijn.  De privacy van de betrokkene is nog onvoldoende geborgd. Dat komt enerzijds doordat procedurele waarborgen nog niet altijd (tijdig) worden getroffen. Dat geldt voor het documenteren van de afweging of er ook andere minder vergaande instrumenten kunnen worden ingezet dan het betreffende algoritme, het opnemen van het algoritme in het verwerkingsregister, het uitvoeren van een DPIA dat (ook) gericht is op het algoritme, het vaststellen dat het algoritme de gegevens (verder) mag verwerken en het vaststellen of er sprake is van profilering. Anderzijds is de privacy onvoldoende geborgd, omdat de informatievoorziening niet op orde is. De betrokkenen worden niet geïnformeerd over dat het algoritme hun gegevens verwerkt en wat de gevolgen daarvan voor hen kunnen zijn. Ook algemene informatie over het algoritme is niet of beperkt aanwezig in het gemeentelijke privacybeleid of specifieke privacyverklaringen. Sinds 26 mei 2023 bevat het Amsterdamse algoritmeregister informatie over het algoritme Behandeling aanvraag Bbz-uitkering (Gripvol). Begin juli 2023 is ook het algoritme Handhaving illegale onderhuur opgenomen in het register.  Voor dit laatste algoritme geldt dat nog niet alle voorgeschreven informatiecategorieën zijn beschreven (zie paragraaf 2.8.1). De ambtelijke organisatie heeft eind augustus 2023 aangegeven dat het algoritme Detectie illegale passagiersvaart aan het algoritmeregister zal worden toegevoegd zodra de DPIA is afgerond. 

We constateren ook dat de ambtelijke organisatie beheersmaatregelen heeft getroffen die bijdragen aan het beschermen van de privacy. Zo is de afweging gemaakt of het algoritme niet te veel gegevens gaat gebruiken (dataminimalisatie), is soms advies gevraagd aan de Functionaris Gegevensbescherming en de Commissie Persoonsgegevens Amsterdam (CPA) en is vastgesteld wie de verwerkingsverantwoordelijke en verwerker van de persoonsgegevens zijn. 

Documentatie is niet op orde

Het vierde ethische perspectief is verklaarbaarheid en transparantie. Het eerste onderdeel van dit perspectief is dat er verantwoording kan worden afgelegd over de gevolgde procedures (ethisch principe 4.1). Daarvoor is goede documentatie noodzakelijk.

Het valt ons op dat de documentatie rondom belangrijke keuzes over de ontwikkeling, en gemaakte keuzes in de ontwerpen en de implementatie regelmatig incompleet zijn bij alle drie de onderzochte algoritmen.  De overwegingen voor de gemaakte keuzes zijn vaak niet goed vastgelegd. Gemaakte keuzes zijn daarmee niet altijd herleidbaar. De betrokken functionarissen en teams die aan het algoritme werken hebben weliswaar veel parate kennis over de gemaakte keuzes en de overwegingen die hierbij speelden, maar leggen weinig hierover vast. Ditzelfde geldt voor het documenteren van de overwegingen rondom gegevensverwerking, zoals dataminimalisatie en inventarisaties van mogelijke bias.  En ook voor het documenteren van de kwaliteit van het model om te kunnen verantwoorden in hoeverre de resultaten overeenkomen met de doelstellingen van het algoritme.  Hierdoor wordt het extern en intern onderzoeken van de algoritmen onnodig bemoeilijkt, zeker als er personele wisselingen zijn. Bovendien bemoeilijkt dit de interne verantwoording richting het college en de externe verantwoording van het college naar het publiek.

Transparantie is niet op orde

Het tweede onderdeel van het perspectief verklaarbaarheid en transparantie is dat het algoritme wordt verklaard en uitgelegd naar de buitenwereld (ethisch principe 4.2). Een punt dat samenhangt met de gebreken in de documentatie, is het gebrek aan transparantie met betrekking tot de algoritmen.

De drie modellen zijn weliswaar redelijk uit te leggen in termen van techniek en de adviezen die uit de algoritmen komen,  maar de werking wordt nauwelijks door de gemeente openbaar en uit eigen beweging verklaard.  Er was ten tijde van het onderzoek zeer weinig informatie over de drie onderzochte algoritmen openbaar toegankelijk. Sinds 26 mei 2023 is een van de drie onderzochte algoritmen opgenomen in het algoritmeregister. Sinds begin juli 2023 staat ook het tweede algoritme in het register.  De beperkte transparantie hangt enerzijds samen met onze bevindingen over het algoritmeregister en anderzijds met de gebrekkige voldoening aan privacywetgeving.  Ook valt op dat burgers niet betrokken worden bij het ontwikkelen van de algoritmen. 

Algoritmeregister voldoet nog niet
Tot 26 mei 2023 waren geen van de drie onderzochte algoritmen opgenomen in het Amsterdamse algoritmeregister of in het register van verwerkingen van persoonsgegevens. Sinds 26 mei 2023 is het algoritme voor de behandeling van Bbz-aanvragen wel opgenomen in het register (weblink). Doordat er nog geen openbare informatie beschikbaar is over alle algoritmen in het register, voldoet Amsterdam niet aan de eisen die het zichzelf oplegt (“het openbaar publiceren van een algoritme vindt plaats tenzij daarvoor uitzonderingen zijn”)  en de wettelijke transparantie-eisen met betrekking tot de verwerking van persoonsgegevens. 

Actieve openbaarmaking van informatie beperkt
Daarnaast is er slechts in beperkte mate sprake van actieve openbaarmaking van informatie over de algoritmen naar burgers en raadsleden.  Het college heeft de raad geïnformeerd over twee algoritmen die zich in de ontwikkelfase bevinden, maar de raad is niet geïnformeerd over het vervolg.  De gemeente publiceert dus beperkt uit eigen initiatief informatie over de onderzochte algoritmen, en doet dat ook niet tijdig (i.e. voordat het algoritme mogelijk gevolgen zou kunnen hebben voor belanghebbenden).  We zien wel dat de gemeente op verzoek informatie deels openbaar maakt. 

Informatie die openbaar is, is niet altijd up-to-date
Tevens is de informatie die wel openbaar is, niet altijd up-to-date. Zo zou het algoritme Detectie illegale onderhuur volgens de openbare informatie een machine learning model zijn, terwijl de ambtelijke organisatie de ontwikkeling van dit model in werkelijkheid heeft gestaakt en zich daarna heeft toegelegd op het ontwikkelen van een rule-based model.  Een ander voorbeeld is de privacyverklaring voor het Bbz-proces  waarin staat dat het algoritme geen persoonsgegevens verwerkt (versie 26 april 2023), terwijl wel persoonsgegevens worden verwerk. Nog een voorbeeld is de beschrijving van het algoritme Behandeling aanvraag Bbz-uitkering (Gripvol) , waarin staat dat leeftijd geen invloed heeft op de score, terwijl dit wel van invloed is op de score. 

Informeren van belanghebbenden gebeurt weinig
Ten derde worden betrokkenen, zoals belanghebbenden of eenieder wiens gegevens worden verwerkt, beperkt actief geïnformeerd over het algoritme, de mogelijke consequenties van het algoritme en welke beperkingen het algoritme heeft.  Hierdoor is het voor betrokkenen niet altijd duidelijk dat zij (indirect) met een algoritme te maken hebben. 

Inzichten ambtelijke organisatie

Bij de start van ons onderzoek hebben wij de drie ambtelijke teams die verantwoordelijk zijn voor het algoritme  gevraagd om de belangrijkste lessen te beschrijven. Daarbij hebben we hen uitdrukkelijk uitgenodigd om ook zaken te beschrijven die voorspoedig zijn voorlopen, met als doel dat andere onderdelen van de ambtelijke organisatie daarvan kunnen leren als ze een algoritme gaan ontwikkelen, gaan inkopen of ermee gaan werken. Tevens hebben wij gedurende het onderzoek gesproken met de drie teams, en hebben wij in een groepsgesprek onze voorlopige bevindingen met hen en vertegenwoordigers van de directie DS&I besproken. De succesfactoren en ervaren knelpunten hebben we hieronder samengevat. 

Behoefte aan duidelijke kaders en heldere integrale processen

Alle drie de teams hebben ervaren dat de kaders voor het ontwikkelen of inkopen van algoritmen destijds nog niet zo ver ontwikkeld waren als dat ze nu zijn. Dat vroeg veel inventiviteit van de teams. Bovendien kwamen beperkingen in de realisatie van het algoritme gaandeweg aan het licht. In het geval van illegale onderhuur ging het daarbij om de vragen welke data ontsloten kunnen en mogen worden, en of er veilige en geschikte ontwikkel- en productieomgevingen beschikbaar waren. Bij het team Detectie illegale passagiersvaart was gedurende de ontwikkelfase nog niet duidelijk dat er persoonsgegevens werden verwerkt, in welk stadium van het algoritme een DPIA nodig was en of/wanneer het algoritme moest worden geregistreerd in het algoritmeregister en het verwerkingsregister.  Het team van het algoritme Behandeling aanvraag Bbz-uitkering gaf aan dat ze niet van tevoren het idee hadden dat ze een 'algoritme' (in de zin van de definitie van Amsterdam) inkochten.  Dit team zou daarom ook meer duidelijkheid willen hebben over de definitie en risicocategorisering van algoritmen.  De drie teams beschouwen een duidelijk en toegankelijk gemeentelijk beheerskader voor algoritmen met daarin heldere richtlijnen en verwachtingen ten aanzien van de te ontwikkelen of in te kopen algoritmen als een voorwaarde om algoritmen succesvol toe te passen. Een andere randvoorwaarde voor het succesvol toepassen van een algoritme, is dat het proces van checks voor het algoritme samen met de lijnorganisatie ontwikkeld moet zijn, zodat dit proces aansluit op de praktijk van de lijnorganisatie.  Bovendien zouden in het beheerskader alle relevante aspecten (zoals wetgeving, IT-beheer, techniek, ethiek, enzovoort) aan de orde moeten komen, en in samenhang (integraliteit) zijn beschreven. 

Het Amsterdamse beheerskader voor algoritmen was begin 2023 maar beperkt bekend bij de teams.  Een van de medewerkers gaf aan met het kader te kunnen werken, omdat zij beschikte over vakspecialistische kennis. Zij vroeg zich wel af of het mogelijk is om een kader op te stellen waarin de steeds nieuwe ontwikkelingen goed zijn beschreven. Positief is dat ook enkele medewerkers de gemeentelijke intranetpagina over algoritmen en de Data Learning Hub op Tamtam spontaan benoemden. 

Eerder zicht op haalbaarheid gewenst

De gewenste integraliteit is belangrijk om te voorkomen dat het ontwikkel- of inkoopproces stopt na het doorlopen van een groot aantal checks als er bij één aspect blijkt dat er iets niet mogelijk is.  De wens is dat al in een vroegtijdig stadium duidelijk wordt of de beoogde algoritmische oplossing passend en haalbaar is, en welke consequenties aan deze keuze verbonden zijn.  Door vooraf een gedegen juridisch en technisch onderzoek uit te voeren naar de mogelijkheden, kunnen potentiële belemmeringen of risico's vroegtijdig worden geïdentificeerd en aangepakt.  Dit helpt bij het voorkomen van onvoorziene problemen zoals inbreuken op privacy, een gebrek aan beschikbare data of incompatibiliteit tussen verschillende systemen. Tegelijkertijd benadrukken de teams dat er in een project ook ruimte moet zijn om stappen achter elkaar te kunnen zetten. Niet alles kan van tevoren worden uitgedacht.  Ook kunnen niet alle risico’s van tevoren worden overzien.

Ten slotte wordt het als nuttig geacht om voorafgaand aan het ontwikkelen of inkopen van een algoritme een kosten-batenanalyse te maken.  Daarbij zouden de potentiële voor- en nadelen van het algoritme geëvalueerd en tegen elkaar afgewogen moeten worden, om tot een beslissing te komen over de ontwikkeling en inkoop van een algoritme. Het doornemen van de technische mogelijkheden en de wet- en regelgeving (zie vorige alinea) is daarbij als voorwaarde benoemd voor een kosten-batenanalyse, omdat daaruit blijkt of - en zo ja, wat voor - een algoritme gerealiseerd kan worden. 

Positieve ervaringen met brede multidisciplinaire teams

Het samenwerken in een multidisciplinair team is door de drie teams als positief ervaren.  Het ontwikkelen van een algoritme vereist niet alleen technische kennis, maar ook kennis op het gebied van datawetenschap, ethiek, juridische kaders en gebruikerservaring. Door functionarissen met diverse achtergronden samen te brengen in één team, kan een breder scala aan perspectieven en inzichten worden meegenomen in de ontwikkeling. Dit zorgt voor een holistische aanpak en leidt tot beter geïnformeerde beslissingen tijdens het ontwikkelproces. Het team behandeling aanvraag Bbz heeft daarnaast positieve ervaringen opgedaan met het aanwijzen van één of een aantal functionarissen (de key-user(s)) die als aanspreekpunt fungeert/fungeren voor collega’s bij interne vragen over het gebruiken van een algoritme. 

Betrek belanghebbenden bij algoritme

Door niet alleen in brede teams te werken, maar door ook te werken met verschillende belanghebbenden, zullen algoritmen beter aansluiten bij de maatschappelijke behoeften en waarden.  Belanghebbenden zijn onder andere de eindgebruikers, burgers, bedrijven en andere maatschappelijke organisaties, beleidsmakers en experts uit relevante domeinen. Door deze belanghebbenden vanaf het begin te betrekken bij de ontwikkeling van het algoritme kan er een dialoog ontstaan waarin verschillende zorgen en behoeften worden gehoord en meegenomen. Een gezamenlijke start met alle relevante belanghebbenden vóór het ontwikkelen of inkopen, wordt ook als succesfactor gezien.  Bij de algoritmen Detectie illegale onderhuur en Detectie illegale passagiersvaart zijn de eindgebruikers (handhavers) bij de ontwikkeling betrokken geweest.  Bij het algoritme behandeling aanvraag Bbz zijn de Bbz-behandelaars vanaf een vroeg stadium betrokken geweest om de behoefte te bepalen. 

Hanteer iteratieve werkwijze bij ontwikkelen algoritme

Voor het algoritme Detectie illegale passagiersvaart is een verkennende werkwijze gebruikt waarbij vooraf nog niet vaststond op welke wijze het algoritme uiteindelijk zou worden gebruikt.  Bij het algoritme Detectie illegale onderhuur werd een soortgelijke werkwijze gehanteerd.  Bij beide algoritmen werd een ‘agile’-werkwijze toegepast, waarbij oplossingen in kleine iteratieve stappen werden uitgedacht en ontwikkeld.  Deze werkwijze bracht het voordeel met zich mee dat er gedurende de ontwikkeling van het algoritme verschillende opties konden worden verkend aan de hand van de beschikbare data en methoden (het zogenaamde Minimum Viable Product) en konden worden afgestemd met de eindgebruikers. De organisatie was hierdoor wendbaar en kon verschillende manieren verkennen om de doelen te bereiken. Beide teams waren (noodgedwongen) aan het pionieren in een tijd dat er minder handvatten beschikbaar waren dan nu. Het Amsterdamse beheerskader voor algoritmen en landelijke kaders waren toen nog niet ontwikkeld. Tegelijkertijd bracht deze werkwijze (achteraf gezien) ook nadelen met zich mee.

Zo kon het team van het algoritme Detectie illegale passagiersvaart vooraf geen goede inschattingen maken van de potentiële impact van het algoritme en de risico's bij de toepassing ervan,  omdat de impact en risico’s pas zouden blijken tijdens de ontwikkeling van het algoritme. Het risico op een mogelijke onrechtmatige verwerking van persoonsgegevens door het algoritme in de ontwikkelingsfase, was niet onderkend. Het team was in de veronderstelling dat het algoritme geen persoonsgegevens verwerkte, omdat de chipnummers van de persoonsgegevens over vergunninghouders gescheiden werden verwerkt.  Het team van het algoritme Detectie illegale onderhuur ging er bij het ontwikkelen van het algoritme van uit dat het binnen een redelijke termijn kon beschikken over de benodigde data. Dat bleek niet geval. 

Onderzoeksverantwoording

Onderzoeksteam

Dankwoord

We spreken onze dank uit aan alle personen die hebben meegewerkt aan ons onderzoek naar algoritmen. Met dank aan de ambtenaren van de gemeente Amsterdam van de directie Digitale Strategie en Informatie, de directie Wonen, de directie Inkomen, en het programma Varen voor het aanleveren van documenten, het beantwoorden van (aanvullende) vragen, de gevoerde gesprekken en het controleren van onze onderzoeksrapporten op feitelijke onjuistheden. Speciale dank gaat ook uit naar de ruim vijfhonderd burgers, waaronder leden van ons burgerpanel, die hebben meegedaan aan de verkiezing van één te onderzoeken algoritme. Tot slot danken wij de auteurs van het rapport Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen voor de samenwerking.

Bijlagen

Bijlage 1 - Toetsingskader Amsterdams beheerskader voor algoritmen

× Download Bijlage 1

Bijlage 2 - Toetsingskader en beoordeling algoritme Behandeling aanvraag Bbz-uitkering (Gripvol)

× Download Bijlage 2

Bijlage 3 - Toetsingskader en beoordeling algoritme Detectie illegale onderhuur

× Download Bijlage 3

Bijlage 4 - Toetsingskader en beoordeling algoritme Detectie illegale passagiersvaart

× Download Bijlage 4

Bijlage 5 - Inventarisatie RMA - algoritmen die Amsterdam mogelijk toepast

× Download Bijlage 5

Bijlage 6 - Tilburg University - Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen

× Download Bijlage 6