“Vorige week meldde de Rekenkamer dat landelijke overheidsinstanties nog steeds te weinig doen om vooroordelen te voorkomen bij het gebruik van algoritmes. Deze week onthullen de NOS en de regionale omroepen dat vijfentwintig gemeenten het gebruik van voorspellende algoritmes óók al toestaan, om fraude en criminaliteit op te sporen. Het biedt weinig hoop op het verdwijnen van afkomst uit hun risicoprofielen, omdat institutioneel racisme altijd in meer of mindere mate werd geaccepteerd in Nederland.” Aldus Margriet Oostveen in een column in de Volkskrant. Een bijzonder passage.

Een algoritme is niets meer en niets minder dan een set van stappen die je achterelkaar zet om een doel te bereiken: aardappelen schillen, ze even onder de kraan afspoelen, vervolgen in een kookpot doen, de pot met water vullen totdat ze onder water staan, een schepje zout erbij, op een brandend fornuispitje zetten, als het water kookt klein zetten en vervolgens er geregeld even met een vork in prikken en als de vork soepel in de aardappel verdwijnt, dan zijn ze klaar, water afschudden en eten maar. Een algoritme om aardappels te koken.

Wat Oostveens passage bijzonder maakt is dat een algoritme in deze zin van het woord per definitie een vooroordeel is. Bij het maken van een algoritme om fraudeurs op te sporen, wordt gekeken naar reeds bekende fraudeurs en dan vooral naar overeenkomsten tussen die fraudeurs. Als heel veel of zelfs iedere fraudeur een konijn heeft, dan is het hebben van een konijn iets dat je in het mandje van de ‘mogelijke fraudeurs’ doet belanden. En zo wordt er gekeken naar veel meer eigenschappen. Heb je veel van die eigenschappen, dan kom je op een lijstje dat voor ‘verscherpt toezicht’ in aanmerking komt.

Bij deze manier van werken wordt een loopje genomen met de logica. Neem weer dat konijn. Ook al betekent het hebben van een konijn niet dat je fraudeert, sterker al zouden alle fraudeurs een konijn hebben, dan betekent dat nog niet dat iedere konijnenbezitter een fraudeur of zelfs een potentiële fraudeur is. Met slechts één eigenschap waarop je selecteert is de kans dat je een loopje neemt met de werkelijkheid groot. Dat probeert men te ondervangen door veel kenmerken die veel criminelen gemeen hebben te combineren: konijnen, Volkswagen Golf, Gucci tas et cetera. Maar ook al voldoe je aan al die zaken, dan nog wil dat niet zeggen dat je een fraudeur bent.

Een dergelijke manier van werken is inherent discriminatoir. Dat is precies de bedoeling van zo’n algoritme. Dat is de bedoeling omdat het logischerwijs dan misschien niet zo is dat iemand die alle kenmerken gemeen heeft met een fraudeur, een fraudeur is, het maakt de kans dat zo iemand een fraudeur is wel veel groter. Als je vervolgens beperkte middelen voor fraude-opsporing hebt en toch zoveel mogelijk fraude moet opsporen, dan is dit een efficiënte manier. Dan kan het gebeuren dat men, zoals in Oostveens column is te lezen, bij het opsporen van zakkenrollers en winkeldieven in het designer outlet in Roermond kijkt: “naar de kleur van de auto, de nummerplaat en het aantal inzittenden. Het project was opgetuigd om Roma te vangen, terwijl uit een analyse bleek dat 70 procent van de zakkenrollers en winkeldieven van Nederlandse afkomst was.” Want ondanks dat 70% van de zakkenroller van Nederlandse afkomst is, is die dertig procent die afwijkt makkelijker te vinden. In het designer-outlet vallen de zakkenrollers van Nederlandse komaf niet op, zij lijken op een zeer groot deel van de bezoekers. Die andere dertig procent van de zakkenrollers valt veel meer op omdat ze afwijken van het zeer grote deel van de bezoekers. Focus je op die 70% dan moet je veel meer moeite doen om tot resultaat te komen dan focussen op die dertig procent. En daarmee kom ik dichter bij het punt dat ik wil maken.

Het is een efficiënte manier, maar wel een manier met heel schadelijke ‘bijwerkingen’. Als eerste omdat er sprake is van een ‘zelfversterkende feedback-loop’. Al zoekend naar fraudeurs onder konijnenhouders, zul je fraudeurs vinden. Die vondsten versterken de zogenaamde relatie tussen fraude en konijnen. En omdat je je kostbare tijd maar één keer kunt besteden en die besteedt aan konijnenhouders, blijven alle frauderende hondenbezitters buiten beeld. Omdat je je concentreert op die 30% niet Nederlandse zakkenroller en winkeldieven zal die 30% procent in de statistieken groter worden dan de dertig procent waardoor het systeem zich er nog meer op gaat richten. Als tweede is het schadelijk omdat het leidt tot vooroordelen. In mijn voorbeeld zal iedereen met een konijn argwanend worden benaderd en bekeken en in Roermond stigmatiseer je Roma als winkeldieven en zakkenrollers.

Niet discrimineren bij het opsporen van fraude is ook mogelijk. In het geval van de kinderopvangtoeslag zou dat kunnen door briefjes te maken met naam en BSN van iedere aanvrager, deze in een doos te doen en er dan willekeurig het aantal uit te halen dat je in een bepaalde periode kunt controleren. Of je laat een koe bepalen door een wei op te delen in bijvoorbeeld honderd vakken en ieder vak correspondeert met een doos dossiers. Vervolgens wacht je waar de koe haar vlaai deponeert en de doos die met dat vak correspondeert, wordt gecontroleerd. Nadeel van deze vorm van fraude-opsporen is dat kans op het pakken van fraudeurs kleiner wordt.  

Als we niet willen dat er wordt gediscrimineerd bij het aanpakken van fraude of criminaliteit, dan moeten we algoritmes afschaffen en ‘de koe’ vragen en accepteren dat we veel minder fraude opsporen.