Black Lives Matter dwingt IBM tot U-bocht bij gezichtsherkenning
Gezichtsherkenningstechnologie analyseert de structuur van gezichten om identificatie van individuen mogelijk te maken. Afbeelding gebruikt met toestemming. Bron: Pikrepo
Temidden van de recente Black Lives Matter-protesten, die vragen opwierpen over politie en racisme in de Verenigde Staten en elders, kondigde het technologiebedrijf IBM aan zich terug te trekken uit de markt voor gezichtsherkenning voor algemeen gebruik. Betekent dit een keerpunt in het gebruik van dergelijke technologieën – niet onomstreden – door veiligheidsdiensten?
Het nieuws ging bijna onopgemerkt voorbij.
Eén zijde van het verhaal betreft de problematische COVID-19 gezondheidscrisis. Aan de andere kant: protesten en woede, uitgelokt door schokkend politiegeweld, dat de Black Lives Matter-beweging wereldwijd deed heropleven. Gevangen tussen die twee vuren en door de protestacties ertoe gebracht om de ethische beginselen van het bedrijf na te leven, maakte IBM op 8 juni bekend dat het zich terugtrekt uit de markt van software voor gezichtsherkenning.
“Technologie kan transparantie verhogen en de politie helpen om gemeenschappen te beschermen, maar mag geen discriminatie of raciale ongelijkheid bevorderen”, verklaarde Arving Krishna, de CEO van het bedrijf.
De aankondiging oogstte weinig reacties, met uitzondering van een paar politiek-economische analisten, technofielen en activisten. Toch zou het belangrijke veranderingen kunnen inluiden voor de invloed die technologie op ons leven uitoefent.
Een controversiële technologie
Software voor gezichtsherkenning laat geautomatiseerde identificatie van personen toe aan de hand van foto's of video's. Om dit te realiseren, steunt ze op twee pijlers: een referentiedataset van vooraf opgenomen foto's en een grote verwerkingscapaciteit. In beide gebieden werd recent een enorme vooruitgang geboekt dank zij innovaties in Big Data en kunstmatige intelligentie (AI). Massale schaalvergroting van gezichtsherkenning is op die manier mogelijk geworden.
De afgelopen jaren doken voorbeelden daarvan op over de hele wereld. Zelfs al in februari 2005 gebruikte de politie van Los Angeles een systeem, ontworpen door General Electric en Hamilton Pacific. Dit systeem werd sindsdien gegeneraliseerd en opgedreven. In 2019 telde China in totaal 200 miljoen videobewakingscamera's op zijn grondgebied. Een nog dichter netwerk is in voorbereiding in Rusland. Om nog te zwijgen over initiatieven van steden zoals Nice, dat momenteel deze technologie test [fr], of Londen, waar camera's de gezichten van voorgijgangers analyseert (zonder hen daarover te informeren) met het oog op het lokaliseren van personen die door de autoriteiten gezocht worden.
De autoriteiten rechtvaardigen de geautomatiseerde bewaking door veiligheidsoverwegingen: eind 2016 zei de internationale misdaadorganisatie Interpol “meer dan 650 misdadigers, vluchtelingen, belangrijke personen of vermisten […]” te hebben geïdentificeerd. Dit gebeurt allemaal in het kader van de strijd tegen criminaliteit, terrorisme, of meer recent de verspreiding van het coronavirus.
Maar zoals andere geavanceerde technologieën is gezichtsherkenning een dubbelzijdig zwaard. De vooruitgang die de techniek met zich meebrengt gaat gepaard met risico's, in het bijzonder voor burgerlijke vrijheden.
Meerdere digitale rechtenorganisaties waarschuwen de publieke opinie voor potentiële bedreigingen en misbruik door gezichtsherkenning. Onder hen zijn de Electronic Frontier Foundation (EFF) en La Quadrature du Net. Deze organisatie coördineert een campagne met de naam “Technopolice” [fr], een initiatief dat automatische bewakingsplannen in Frankrijk bijhoudt, onder de aandacht brengt, en oproept tot systematisch verzet.
Beperkte betrouwbaarheid
Het grootste gevaar van het gebruik van gezichtsherkenningssoftware is onnauwkeurigheid. De programma's identificeren en verifiëren personen baserend op vergelijking met steekproefgegevens: sets van zogenaamde “training data”. Als deze sets onvolledig zijn of niet helemaal relevant zijn, zal het programma slechte interpretaties maken. Dit heet “leervooroordeel”.
Om zo'n vertekend beeld te demonstreren testten Twitter-gebruikers vorige maand een AI-programma dat portretten reconstrueert aan de hand van korrelige beelden en publiceerden de afwijkende resultaten online. Er traden significant meer fouten op bij Afro-Amerikaanse of Latijns-Amerikaanse personen, zoals Barack Obama en Alexandria Ocasio-Cortez. De gegevensset, die bijna uitsluitend bestond uit foto's van witte mensen, had de reconstructies foutgestuurd in de richting van de meest voor de hand liggende type-profielen.
This Image of a White Barack Obama Is AI’s Racial Bias Problem In a Nutshell https://t.co/88Sl9H0lEp
— adafruit industries (@adafruit) June 27, 2020
Deze foto van een witte Barack Obama toont het probleem van onnauwkeurigheid van kunstmatige intelligentie (AI) in een notedop.https://t.co/88Sl9H0lEp
— adafruit industries (@adafruit) June 27, 2020
Als kunstmatige intelligentie gebruikt wordt om mensen te identificeren aan de hand van beelden in plaats van deze te optimaliseren, zal het analyseproces waarschijnlijk een gelijkaardige afwijking vertonen.
Imaginons que vous décidiez d’évaluer la dangerosité, le risque de criminalité d’une personne, à partir de paramètres tels que l’âge, le lieu de résidence, la couleur de peau, le diplôme le plus élevé… et que pour entraîner votre logiciel, vous utilisiez les données fournies par les centres de détention, les prisons.
Alors il est fort probable que votre logiciel minimise fortement les risques pour les personnes blanches et l’augmente pour les autres.
Suppose you decided to assess the level of risk of a person’s criminality, based on parameters like age, home address, skin colour, highest academic qualification… and, to train your software, you used data supplied by detention centres, or prisons.
Then it’s highly likely your software will seriously downplay the risks for white people, and elevate them for others.
Source: https://intelligence-artificielle.agency/les-biais/ [fr]
Stel je voor dat we besluiten het gevaar en het risico op criminaliteit van een persoon te beoordelen op basis van parameters zoals leeftijd, woonplaats, huidskleur, hoogste diploma … en om de computer te trainen gebruiken we de gegevens geleverd door detentiecentra en gevangenissen.
Dan is het heel waarschijnlijk dat je software het gevaar van witte personen duidelijk afzwakt, en het hoger inschat voor anderen.
De feiten spreken voor zich. In London vertoont real-time gezichtsherkenning een foutenmarge van 81% ; in Detroit meldde een Afrikaans-Amerikaanse man dat hij onterecht gearresteerd was op basis van een foute identificatie.
Omstreden legitimiteit
Gezichtsherkenning is niet alleen onnauwkeurig, ze verergert discriminatie, zoals bevestigd door een enquête in 2016 van de onderzoekssite ProPublica.
Google Photos tagged two African Americans as “gorillas” […] a recruitment aid tool used by Amazon disadvantaged women
Source: « IA : la reconnaissance faciale est-elle raciste ? » Orange Digital Society Forum [fr]
Google Photos labelde twee Afrikaanse Amerikanen als “gorilla's” […]. Door een recruteringshulpsoftware, gebruikt door Amazon, werden vrouwen benadeeld.
Voor de politie, hoe dan ook al vaak beschuldigd van discriminatie, is gezichtsherkenning een extra hooggevoelig onderwerp.
De dood van George Floyd tijdens een incident van politiegeweld op 25 mei in Minneapolis veroorzaakte een golf van demonstraties, eerst alleen in de Verenigde Staten, later over de hele wereld. Aanvankelijk werd discriminatie van ethnische minderheden aangeklaagd. Maar een escalatie van geweld leidde ertoe dat de betogers de demilitarisatie van politiebureaus eisten, daarbij de slogan “Defund the police” (“geen cent voor de politie”) scanderend. Bij uitbreiding daarvan zijn ook de wijdverspreide bewakingssystemen onder de aandacht gekomen, inclusief de bedrijven die ze leveren. Daarom heeft nu IBM, onder druk van de Black Lives Matter-beweging, de gedeeltelijke terugtrekking uit de markt van gezichtsherkenning aangekondigd.
Het is geen toeval dat Big Blue [de bijnaam van IBM] de eerste is die reageerde. Het bedrijf heeft een lang, soms beschamend verleden, waarmee het in het reine moest komen. In 1934 collaboreerde het met het Nazi-regime via zijn Duitse vestiging. Veel later, in 2013, was het betrokken in de zaak van het PRISM-bewakingsprogramma, aan het licht gebracht door klokkenluider Edward Snowdon. Misschien kon het bedrijf om die redenen zijn rol aanscherpen in het huidige conflict tussen veiligheidsstaat en mensenrechtenactivisten. Natuurlijk is het ook mogelijk dat de strategie van IBM ingegeven is door een veel rationeler argument, namelijk zelfbescherming tegen mogelijke gerechtelijke procedures en de daarmee verbonden kosten.
Niettemin is de heroriëntering van de activiteiten reëel genoeg, en heeft een initiatief uitgelokt dat door andere industriegiganten opgevolgd wordt. Microsoft verklaarde op 12 juni dat het zou weigeren zijn technologie voor gezichtsherkenning te verkopen aan de politie; Amazon, onder druk van de groep van vergelijkbare bedrijven , verklaarde een moratorium op zijn “Rekognition” software.
Een stap op weg naar hervorming?
De nood aan een wettelijk kader is duidelijk geworden. In zijn aankondiging deed Arvind Krishna, CEO van IBM, een beroep op het Amerikaanse congres om “een nationale dialoog te openen om te zien óf, en hoe technologieën voor gezichtsherkenning gebruikt kunnen worden door wethandhavingsinstanties”.
Zijn oproep werd gehoord. Congresleden stelden op 25 juni een wet voor om het gebruik van gezichtsherkenning bij de politie te verbieden. Een dag eerder had de gemeenteraad van de stad Boston het verbod al goedgekeurd.
Ongetwijfeld is dit slechts het begin van een lange politieke en juridische strijd om het gebruik van gezichtsherkenning in te bedden in een procedure die burgers respecteert. Maar voor het eerst schijnen mensenrechtenorganisaties in staat te zijn om Big Tech-organisaties en het politieke establishment te beïnvloeden in de richting van een gemeenschappelijk streven naar een technologie waarbij iedereen voordeel heeft.
This story is part of Global Voices’ special coverage of COVID-19 and offers a view on the pandemic from the perspective of our global community of contributors. Alle artikelen
Dit is een artikel van GV Advocacy, een Global Voices-project met een eigen site dat zich inzet voor vrijheid van meningsuiting en tegen censuur op internet. · Alle artikelen
