Algoritmen
Onderzoeksopzet

Aanleiding

De gemeente Amsterdam gebruikt algoritmen bij de uitvoering van haar taken (zie kader Voorbeelden algoritmen Amsterdam). Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Hierdoor kunnen sommige taken van de gemeente automatisch of sneller worden uitgevoerd. Bovendien bieden algoritmen de mogelijkheid om besluitvorming transparant te maken, problemen van burgers te voorkomen of vroegtijdig te signaleren, en gelijke gevallen gelijk te behandelen. Algoritmen kunnen zeer eenvoudig zijn (bijvoorbeeld een eenvoudige beslisboom), maar ook zeer complex in het geval van Artificial Intelligence (AI)  bij het leren herkennen van zwerfafval. Zowel eenvoudige als complexe algoritmen kunnen grote impact hebben op burgers en bedrijven.

Voorbeelden algoritmen Amsterdam

Parkeercontrole
De gemeente Amsterdam zet scanauto's met geautomatiseerde kentekenherkenning in om te controleren of voor een geparkeerde auto parkeergeld is betaald of dat deze een parkeervergunning heeft. Mocht dat niet het geval zijn, dan volgt een parkeerbon. De scanauto's worden ook ingezet voor de opsporing van gestolen voertuigen en voertuigen met een vordering van de politie of het Openbaar Ministerie.

Top 400/600
De Top 400/600-aanpak is erop gericht om (zware) criminaliteit en drugshandel-gerelateerde drugs- en geweldsdelicten terug te dringen met behulp van een persoonsgebonden aanpak. Personen kunnen in- of uitstromen in de aanpak wanneer ze voldoen aan een aantal criteria.

Handhaving illegale verhuur
Voor het opsporen van mogelijke illegale vakantieverhuur gebruikt de gemeente een algoritme. Dit algoritme helpt bij het prioriteren van meldingen door gegevens te analyseren en de kans in te schatten dat de woning op het gemelde adres illegaal wordt verhuurd. Hierdoor kan de gemeente handhavingscapaciteit efficiënter en effectiever inzetten.

Bron: algoritmeregister Amsterdam.nl, geraadpleegd op 14 juli 2022.

Aandacht voor de risico's van algoritmen van groot belang
Amsterdam zet algoritmen in om zijn dienstverlening en taken sneller, gerichter of beter uit te voeren.  Het levert de stad hierdoor veel voordelen op, maar de toepassing van algoritmen is niet risicoloos. Behalve het risico op de inbreuk op de privacy van burgers kunnen verkeerde toepassingen van het gebruik van algoritmen discriminerende werkingen hebben als deze vooroordelen bevatten. Burgers en bedrijven krijgen vaker te maken met algoritmen en de impact ervan.  Dat, terwijl het gebruik van algoritmen niet altijd voor burgers zichtbaar is. Ook is de werking van algoritmen voor burgers niet altijd eenvoudig te begrijpen.

Meerdere rapporten en onderzoeken zijn inmiddels verschenen over de risico's en voordelen van het gebruik van algoritmen. De Algemene Rekenkamer (2021) constateert bijvoorbeeld dat bij algoritmen veelal niet de burger, maar de overheid centraal lijkt te staan.  Hierdoor is maar weinig aandacht voor de ethische aspecten en vragen van bezorgde burgers over de toepassing van algoritmen. In een recenter verschenen rapport van de Algemene Rekenkamer (2022) werd vastgesteld dat algoritmen van de rijksoverheid niet volledig voldoen aan de eisen die de Algemene Rekenkamer daaraan stelt (zie paragraaf 3.2). Uiteenlopende risico's bestaan bij deze algoritmen, variërend van gebrekkige controle op prestaties of effecten, tot mogelijke vooringenomenheid, datalekken of ongeautoriseerde toegang.  Tegelijkertijd zorgen algoritmen voor een snellere en doelmatige besluitvorming, waardoor het werk met minder ambtenaren kan worden gedaan en burgers minder lang op hun besluit hoeven te wachten en eerder hun geld ontvangen van de overheid.  De Nationale ombudsman (2021) benoemt als randvoorwaarden bij het gebruik van algoritmen door overheden dat de grondrechten en ethische normen van burgers gewaarborgd moeten blijven.  Het gebruik van algoritmen moet daarbij duidelijk, toegankelijk en oplossingsgericht zijn.

Risico's bij het toepassen van algoritmen spelen niet alleen bij de rijksoverheid, maar ook bij lokale overheden. De Rekenkamer Rotterdam concludeerde in zijn rapport Gekleurde technologie (2021) bijvoorbeeld dat er te weinig overzicht is van de toegepaste algoritmen in de organisatie.  Ook ziet de rekenkamer dat de verantwoordelijkheid voor ethische principes nog onvoldoende ambtelijk belegd is en dat het gebruik van algoritmen kan leiden tot vooringenomen uitkomsten.

Raadsleden en burgers maken zich zorgen om algoritmen
Niet alleen verschillende onderzoeksinstanties zien risico's bij algoritmen. Uit onze analyse van Amsterdamse raads- en commissieverslagen over de laatste vier jaren  blijkt dat raadsleden zich duidelijk zorgen maken over het gebruik van algoritmen in de gemeente. Raadsleden zien eveneens de risico’s als gevolg van vooringenomenheid of onethisch gebruik en hebben daardoor oog voor (strenge) randvoorwaarden. Zij willen dat algoritmen begrijpelijk zijn voor burgers en dat er een menselijke maat wordt gehanteerd. Volgens de raadsleden maken burgers zich veelal zorgen dat de overheid door algoritmen te veel over hun privéleven te weten komt. Andere zorgen van raadsleden zijn dat de overheid algoritmen gebruikt zonder dat te vertellen. En dat de overheid niet aan burgers kan uitleggen hoe een besluit is genomen. Dat geldt niet alleen voor technisch ingewikkelde algoritmen. Het gaat juist ook om simpele algoritmen. Die kunnen net zo goed grote gevolgen hebben voor burgers.

Raadsleden hebben een initiatiefvoorstel ingediend en schriftelijke vragen gesteld. Daarmee vragen zij aandacht voor de (ethische) risico's van algoritmen. Zo besloot de gemeenteraad op 16 februari 2022 in te stemmen met een initiatiefvoorstel  waarin het college wordt verzocht om te evalueren in hoeverre er voldoende maatregelen zijn voor het waarborgen van brede ethische toetsing van technologische toepassingen (zoals algoritmen).  Ook werden onlangs nog schriftelijke vragen gesteld over de mogelijke vooringenomenheid in het algoritme Criminaliteit Anticipatie Systeem (CAS) , dat gebruikt wordt door de politie. 

De Amsterdamse context

Beleid en instrumenten

De context omtrent algoritmen is op internationaal, nationaal en lokaal niveau sterk in beweging. Zo werkt de Europese Unie bijvoorbeeld momenteel aan een verordening omtrent kunstmatige intelligentie en is er op nationaal niveau steeds meer aandacht voor algoritmen (waaronder AI). Deze nationale aandacht blijkt bijvoorbeeld uit moties in de Tweede Kamer, onderzoeken van de Algemene Rekenkamer of het vaststellen van een nationale AI-strategie door de regering. Ten behoeve van deze onderzoeksopzet schetsen we kort de Amsterdamse context.

Amsterdams beleid

Figuur 1 - Amsterdams beleid

Het Amsterdamse beleid omtrent algoritmen is vastgelegd in verschillende beleidsstukken. In deze paragraaf beschrijven we in samenhang het Amsterdamse beleid.

De coalitieakkoorden
Zowel het vorige Coalitieakkoord 2018-2022 als het nieuwe Coalitieakkoord 2022-2026 bevat ambities op hoofdlijnen van het gemeentebestuur die algoritmen raken. 

In het akkoord van 2018-2022 worden algoritmen niet specifiek genoemd, maar heeft het gemeentebestuur wel al aandacht voor dataminimalisatie, open data en datarechten. Het gemeentebestuur geeft aan dat er een Agenda Digitale Stad komt (zie volgende paragraaf voor de inhoud van de Agenda Digitale Stad) en dat de zes waarden  uit het Tada manifest zullen worden geïmplementeerd (tada.city).

Het gemeentebestuur heeft in het akkoord van 2022-2026 aandacht voor privacy, digitale rechten, digitale zelfredzaamheid en digitale veiligheid. Concreet geeft het gemeentebestuur aan een algoritmeregister te willen blijven hanteren, en dat het vooraf, tijdens en na de ontwikkeling van ICT-systemen zal testen op integriteit, discriminatie en vooroordelen.

Agenda Digitale Stad
De in 2019 vastgestelde Agenda Digitale Stad bevat de nog steeds geldende ambities van de gemeente Amsterdam met betrekking tot digitalisering. Hierin zijn onder andere de digitale rechten opgenomen die gezamenlijk met andere wereldsteden zijn opgesteld (citiesfordigitalrights.org). Ook bevat de agenda het zogenaamde Tada manifest: de zes waarden met betrekking tot het ontwerpen van een digitale stad. Het college geeft ook aan dat Amsterdam algoritmen wil gaan laten auditen door een onafhankelijke partij. 

Agenda AI: Amsterdamse Intelligentie
De in 2020 vastgestelde Agenda AI bevat de ambities van het college op het gebied van algoritmen waaronder kunstmatige intelligentie.  Doelen zijn onder andere het zorgen voor interventies die het leven van Amsterdammers verbeteren, de negatieve effecten van digitalisering te beperken en de positieve effecten te versterken. Het college wil de technologie laten werken voor Amsterdammers, door onder meer AI toe te passen op eigen processen van de gemeente, AI-competenties te ontwikkelen en door minder discriminerende en meer transparante algoritmes te realiseren. Daarnaast wil het college het gebruik van algoritmen stimuleren en het economisch potentieel van algoritmen benutten. Daartoe wil het college de samenwerking versterken tussen investeerders, onderzoeksinstellingen, talent en het bedrijfsleven. Ook moet Amsterdam een 'living lab' worden met proeven en toepassingen voor stedelijke vraagstukken. Tegelijkertijd wil het college de digitale rechten van burgers beschermen en meer kansengelijkheid creëren door sociale, economische en ethische kaders voor AI op te stellen en zicht te krijgen op wat AI doet met de stad. 

Datastrategie
In de Datastrategie 2021-2022 (vastgesteld in 2021), heeft het college opgenomen dat Amsterdammers meer zeggenschap krijgen over hun data, en dat Amsterdam gebruik moet maken van kansen die digitalisering biedt om taken beter uit te voeren.  Daarnaast bevat de strategie voornemens met betrekking tot data, zoals het standaard openbaar maken van datasets. De gemeente zal samen met de Universiteit van Amsterdam het Civic Artificial Intelligence Lab starten (civic-ai.nl). Dat lab gaat onderzoeken hoe AI ongelijkheid in de stad kan tegengaan of hoe kan worden tegengegaan dat AI ongelijkheid vergroot.

Instrumentarium voor beheersing

Als onderdeel van de Agenda AI is het college het Programma Algoritme Lifecycle Aanpak gestart. De Algoritme Lifecycle Aanpak wordt gebruikt door het college om grip te krijgen op de gemeentelijke algoritmen, en om deze eerlijker en transparanter te maken voor burgers en bedrijven.  De aanpak bestaat uit zeven instrumenten om algoritmen gedurende hun levenscyclus te kunnen beheren, risico's in te kunnen schatten en te onderzoeken ('auditen').

  • Algoritmeregister. Sinds 28 september 2020 is er een online algoritmeregister beschikbaar waarin te zien zou moeten zijn welke algoritmen door Amsterdam worden gebruikt, waarvoor ze worden ingezet en hoe ze werken. Tijdens de publicatie van deze onderzoeksopzet bevat het register zes algoritmen.
  • Governance-vastlegging en levenscyclusmodel. In de governance-beschrijving staan vastgelegde taken en verantwoordelijkheden, welke maatregelen getroffen moeten worden om risico’s bij het toepassen van algoritmen te voorkomen, welke informatie gedocumenteerd moet worden en wie verantwoordelijk is als een algoritme niet voldoet aan het beoogde doel. Het levenscyclusmodel beschrijft het proces ofwel 'de levenscyclus' van een algoritme van begin tot eind.
  • Contractvoorwaarden. Sinds november 2020 zijn er contractvoorwaarden vastgelegd waarin staat welke informatie leveranciers van algoritmen met de gemeente moeten delen, zodat de gemeente die informatie met Amsterdammers kan delen.
  • Handreiking voor bezwaarbehandelaars. Een handreiking voor behandelaars voor het afhandelen van bezwaren, daar waar het besluit (deels) is gebaseerd op een algoritme.
  • Mensenrechtenimpactanalysemodel. Een model om de impact van het gebruik van een algoritme (wat in ontwikkeling is of in gebruik) op de mensenrechten te analyseren en borgende maatregelen te treffen.
  • Bias-analysemodel. Een model of standaard dat gebruikt kan worden om eventuele vooringenomenheid in een algoritme of in de gebruikte data op te sporen.
  • Audits. Interne onderzoeken waarbij aan de hand van de interne standaarden wordt gekeken of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen. Voor deze audits is een normenkader ontwikkeld.

Het instrumentarium is op 20 januari 2022 vastgesteld door het GMT.  De Chief Information Officer (CIO) zal de directies en stadsdelen elke zes maanden vragen om het centrale overzicht van algoritmes (het algoritmeregister) aan te vullen. Waarbij het register eerst wordt gevuld met algoritmen met een hoog risico en tot slot met algoritmen met een laag risico. Zowel nieuwe als bestaande algoritmen zullen worden onderworpen aan een bias-analyse, mensenrechtenimpactassessment en/of een audit.  Het instrumentarium is continu in ontwikkeling, mede dankzij ontwikkelingen in het geldend recht en de wetenschap omtrent algoritmen. Omdat het gemeentelijke instrumentarium nog niet zo lang bestaat, is het tot op heden slechts bij enkele algoritmen toegepast.

Naast het instrumentarium wil het college investeren in kennis over algoritmen in de ambtelijke organisatie, bijvoorbeeld bij de juridische, inkoop-, en auditafdelingen.  Bovendien wil het college bewustwording van algoritmen in de organisatie vergroten.  Dit met als doel bekendheid te geven aan de interne afspraken over algoritmen en het beter kunnen beheersen van de algoritmen.

Opzet onderzoek

In dit hoofdstuk gaan we dieper in op de doelstelling van het onderzoek, de onderzoeksvragen, de beoogde aanpak en afbakening van het onderzoeksobject.

Doelstelling en onderzoeksvragen

Met dit onderzoek willen we burgers, raadsleden en andere belanghebbenden inzicht bieden in hoeverre het college van B en W algoritmen verantwoord toepast. Met 'verantwoord toepassen' bedoelen we in het kort dat het college voldoende rekening houdt met risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast. Voor het onderzoek hanteren we de volgende centrale onderzoeksvraag:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk?

We beantwoorden de centrale onderzoeksvraag door zowel het Amsterdamse beheerskader (het instrumentarium zoals beschreven in paragraaf 1.2) voor algoritmen te onderzoeken als een selectie van algoritmen individueel te beoordelen.

Voor het onderzoek naar het gemeentelijke beheerskader voor algoritmen beantwoorden we de volgende deelvraag:

Deelvraag 1. In hoeverre draagt het Amsterdamse beheerskader Programma Algoritme Lifecycle Aanpak bij aan de verantwoorde toepassing van algoritmen?

Met het beantwoorden van deze vraag is het echter niet mogelijk om een uitspraak te doen over de mate waarin individuele algoritmen verantwoord in de praktijk zijn ingezet. Ten eerste omdat het Amsterdamse beheerskader recent ontwikkeld is, terwijl algoritmen al jaren in de Amsterdamse praktijk worden toegepast. Ten tweede kan bij het ontwikkelen en onderhouden van algoritmen (on)bewust worden afgeweken van het beheerskader, omdat men niet bekend is met het kader of andere prioriteiten stelt.

Om ook de praktijk te kunnen beoordelen en daaruit lering te kunnen trekken, zullen wij enkele algoritmen onderzoeken. Van elk onderzocht algoritme willen we enerzijds uitleggen waarvoor dat algoritme gebruikt wordt, anderzijds willen we een oordeel geven over de mate waarin het geselecteerde algoritme verantwoord wordt ingezet. Hiervoor beantwoorden we de volgende deelvragen:

Deelvraag 2. Hoe wordt het algoritme toegepast?

  • Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is bereikt?
  • Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast?
  • Wat zijn kenmerken van de gebruikte data?
  • Wat is de herkomst van de data?
  • Wat voor soort algoritme betreft het?
  • Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen?
  • Zijn er alternatieven overwogen?
  • Welke impact op burgers of bedrijven is voorzien?

Deelvraag 3. In welke mate zijn de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd?

Aanpak

We willen weten in hoeverre algoritmen in Amsterdam verantwoord worden toegepast. We onderzoeken daarom het overkoepelende beheerskader (het Amsterdamse instrumentarium, zie paragraaf 1.2), om een oordeel te geven over in hoeverre het beheerskader op macroniveau bijdraagt aan het verantwoord toepassen van algoritmen.

Daarnaast onderzoeken we een aantal casussen (individuele algoritmen), om op microniveau oordeel te kunnen geven over de verantwoorde toepassing van algoritmen in Amsterdam. We werken met een selectieve steekproef van algoritmen en de uitspraken op microniveau zijn daarom niet generaliseerbaar voor alle algoritmen die de gemeente Amsterdam gebruikt. Wel verwachten wij dat de analyse leidt tot enkele algoritme-overstijgende bevindingen. Samen bieden de oordelen op macro- en microniveau de basis om de centrale onderzoeksvraag te beantwoorden.

Hierna gaan we eerst in op de overkoepelende toets van het beheerskader, vervolgens op het casusonderzoek.

Toets beheerskader

In dit deel van het onderzoek beoordelen we het overkoepelende beheerskader (het instrumentarium) van de gemeente Amsterdam. We gaan na of dit instrumentarium de verantwoorde toepassing van algoritmen in Amsterdam bevordert. Dit doen we door het instrumentarium op hoofdlijnen te toetsen aan meerdere (nog te selecteren) erkende normenkaders en richtlijnen, zoals het kader van de Algemene Rekenkamer of de Code Goed Digitaal Openbaar Bestuur  en de aankomende Europese verordening inzake AI. Bij onze beoordeling betrekken wij ook de Beoordeling stedelijk beheersingskader voor Algoritmen (februari 2022) van de afdeling Internal Audit en beleidsonderzoek van de gemeente Amsterdam. Daarnaast overwegen we om (onderdelen van) het Amsterdamse beheerskader aan een of meerdere deskundigen voor te leggen.

Casusonderzoek

Om de individuele algoritmen te beoordelen, gebruiken we het normenkader dat in 2021 ontwikkeld is door de Algemene Rekenkamer. De Algemene Rekenkamer heeft het kader inmiddels al toegepast bij twaalf algoritmen bij Nederlandse overheden.  Het normenkader is openbaar beschikbaar via de website van de Algemene Rekenkamer.

Het normenkader bestaat uit de perspectieven van 1) sturing en verantwoording , 2) model en data , 3) privacy , 4) IT-beheer  en 5) ethiek  (zie figuur 2). Met dit normenkader kan worden beoordeeld of het algoritme voldoet aan bepaalde kwaliteitscriteria, of de risico’s voldoende in beeld zijn bij de ambtelijke organisatie en/of het college, en in hoeverre deze risico's zijn beperkt met beheersmaatregelen.

Het normenkader van de Algemene Rekenkamer onderscheidt vanuit het perspectief ethiek vier ethische principes: 1) respect voor de menselijke autonomie , 2) voorkomen van schade , 3) fairness (een eerlijk algoritme)  en 4) verklaarbaarheid en transparantie . Ethiek is verweven in de overige vier perspectieven. Dat wil zeggen dat de ethische principes gekoppeld zijn aan de risico's die zijn geformuleerd vanuit de andere vier perspectieven.

Figuur 2 - Normenkader algoritmen

Bron: Algemene Rekenkamer, Algoritmes getoetst, mei 2022.

Voor het beoordelen van algoritmen zijn verschillende (internationale) kaders beschikbaar. We hebben gekozen voor het kader van de Algemene Rekenkamer om Amsterdamse algoritmen te beoordelen, ondanks dat Amsterdam ook een eigen kader heeft. We kiezen ervoor om het Amsterdamse kader niet te hanteren, omdat het tevens object van ons onderzoek is (deelvraag 1). Bovendien is dat kader nog maar zeer beperkt in de praktijk toegepast en in ontwikkeling. Voor onze keuze van het kader van de Algemene Rekenkamer gaf de doorslag dat:

  • het kader van de Algemene Rekenkamer onafhankelijk van de gemeente Amsterdam is opgesteld door een landelijk erkende instelling;
  • het gebruik van het kader de resultaten vergelijkbaar maakt met andere casussen bij de rijksoverheid (de Algemene Rekenkamer heeft al twaalf algoritmen met het kader getoetst);
  • het kader door een andere rekenkamer is toegepast;
  • het kader voor iedereen toegankelijk en transparant is;
  • het kader uitgaat van risico's en hoe deze risico's worden beperkt of beheerst;
  • het kader op evenwichtige wijze werkt vanuit vijf perspectieven, die concreet zijn uitgewerkt. Hierdoor is het mogelijk om zowel op bestuurlijk als operationeel niveau bevindingen te rapporteren.

Hoe komen we tot een selectie van te onderzoeken algoritmen?
Tijdens het onderzoek selecteren we enkele Amsterdamse algoritmen om te beoordelen. Daartoe zullen wij de volgende stappen doorlopen:

  1. Populatie algoritmen verkennen. We willen een beeld krijgen van de mogelijk te onderzoeken algoritmen. Uit onze verkenning blijkt dat het college nog geen volledig overzicht heeft van de algoritmen die door de gemeente Amsterdam gebruikt worden. Het algoritmeregister is niet compleet. Wel heeft de ambtelijke organisatie een interne lijst opgesteld van algoritmen op basis van het verwerkingsregister. Deze lijst is completer, maar zeer waarschijnlijk ook niet volledig, omdat het verwerkingsregister betrekking heeft op persoonsgegevens en het ook denkbaar is dat er algoritmen zijn waarin niet tot een persoon herleidbare gegevens wordt verwerkt.
  2. De populatie afbakenen. De grootte van de populatie in het onderzoek te betrekken algoritmen hangt af van de te maken keuze over welke algoritmen wel en welke algoritmen niet tot de populatie van te onderzoeken algoritmen worden gerekend. Behoren daartoe bijvoorbeeld ook algoritmen die gebruikt worden door derde partijen in opdracht van of ten behoeve van het Amsterdamse college van B en W, waaronder het algoritme voor de centrale loting en matching van de OSVO?
  3. Nadere selectiecriteria bepalen. Hiervoor is het noodzakelijk om categorisering aan te brengen binnen de populatie algoritmen. Uit onze verkenning blijkt dat algoritmen op allerlei (in meer of mindere mate) zinvolle manieren te categoriseren zijn. Bijvoorbeeld op basis van complexiteit, techniek, gebruik, impact op burgers of bedrijven, of risico.   Een mogelijk selectiecriterium zou bijvoorbeeld het behoren bij de hoog-risico algoritmen, zoals bedoeld in de Europese AI-verordening, kunnen zijn.
  4. Grootte van de selectie bepalen. We zullen een keuze maken in het aantal te onderzoeken casussen. Minimaal twee, maar mogelijk meer, afhankelijk van de gekozen categorie of categorieën.

Voor het casusonderzoek zullen we ambtenaren interviewen, vragenlijsten uitzetten, de ontvangen reacties en achterliggende documenten beoordelen en deze beoordeling bespreken met en wederhoren bij de ambtelijke organisatie.

Afbakening

Dit onderzoek richt zich op de vraag in hoeverre het Amsterdamse beheerskader voor algoritmen toereikend is voor een verantwoorde toepassing van algoritmen en welke lessen getrokken kunnen worden over het toepassen van algoritmen in de Amsterdamse praktijk.

Het onderzoek zal zich niet richten op de vraag of de beleidsdoelstellingen van het college aangaande algoritmen, zoals geformuleerd in de coalitieakkoorden, de Agenda Digitale Stad en Agenda AI en de datastrategie (zie paragraaf 1.1), zijn gerealiseerd of dat het Amsterdamse beheerskader (zie paragraaf 1.2) helpt deze doelen te bereiken. Ook gaan we niet na of het beheerskader van de gemeente juist wordt toegepast. De reden hiervoor is dat het beheerskader van de gemeente nog volop in ontwikkeling is en de verwachting is dat het nog niet volledig door de ambtelijke organisatie wordt toegepast.

Belangrijk te vermelden is dat voor algoritmen geen eenduidige definitie en categorisering van algoritmen bestaat binnen de overheid.  Om mogelijke interpretatieverschillen tijdens het onderzoek te voorkomen, maken wij daarom gebruik van een vaste definitie zoals deze is opgenomen in het onderzoeksrapport van de Algemene Rekenkamer (2021). Deze definitie wordt ook gebruikt door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK)  en vertoont grote overeenkomsten met de definitie gehanteerd in het onderzoek naar algoritmen en grondrechten van de Universiteit Utrecht (2018).  De definitie van algoritme van de Algemene Rekenkamer luidt: 

Algoritmes zijn sets van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.

In het onderzoeksrapport zullen wij uiteenzetten in welk opzicht deze definitie afwijkt van die van de gemeente Amsterdam  en wat dat voor de bevindingen over de gemeente Amsterdam betekent.

Planning en onderzoeksteam

Planning

De uitvoering van het onderzoek zal plaatsvinden vanaf augustus 2022. We streven ernaar het onderzoek in het tweede kwartaal van 2023 te publiceren.

De doorlooptijd en diepgang van dit onderzoek zijn mede afhankelijk van de afspraken die wij met de gemeente kunnen maken over het aanleveren van informatie en het voeren van gesprekken.

Onderzoeksteam

Onderzoeksteam 
DirecteurDrs. Annelies Daalder
OnderzoekersMr. drs. Arjan Kok RA (projectleider)
Robin van de Maat MA MSc
Tello Heldring MSc RO

Verantwoording

Deze onderzoeksopzet is opgesteld op basis van een verkennende documentenstudie (waaronder die genoemd in de bronnen en het boek Ontdek de groeikansen van AI, van Gieling e.a., 2021), het kennisnemen van uitzendingen en artikelen van Argos  en oriënterende gesprekken met:

  • Ambtenaren werkzaam bij of voor de ACAM Audit en Advies, de afdeling Internal Audit en Beleidsonderzoek, de Commissie Persoonsgegevens Amsterdam (CPA), het Public Tech team van het CTO en CIO office (gemeente Amsterdam);
  • Een onderzoeker van de Rekenkamer Rotterdam;
  • Onderzoekers van de Algemene Rekenkamer;
  • Hinda Haned, professor Faculteit der Natuurwetenschappen, Wiskunde en Informatica, Informatics Institute en eigenaar van Owls & Arrows;
  • Johan Wolswinkel, hoogleraar Bestuursrecht, markt en data van de Tilburg University.

Op basis van het verzamelde onderzoeksmateriaal kan de aanpak gedurende het onderzoek worden bijgesteld. In ons onderzoeksrapport worden alle opmerkingen en bedenkingen meegenomen die wij naar aanleiding van de bevindingen van belang achten. Ook als dit niet expliciet onderdeel uitmaakt van deze onderzoeksopzet.

Bijlage 1 - Algemene werkwijze rekenkamer