Dekolonisatie van kunstmatige intelligentie: een transfeministische benadering van data en sociale gerechtigheid

Foto: Clara Juliano voor Coding Rights. Gebruikt met toestemming.

Rising Voices (RV) werkt samen met de Association for Progressive Communications (APC) die de editie uit 2019 van de Global Information Society Watch (GISWATCH) heeft gemaakt, met als hoofdthema kunstmatige intelligentie (AI); mensenrechten, sociale rechtvaardigheid en ontwikkeling. In de volgende maanden zal Rising Voices versies van de landenrapporten opnieuw publiceren, met name die waarin wordt onderstreept hoe kunstmatige intelligentie invloed kan hebben op historisch ondervertegenwoordigde of gemarginaliseerde gemeenschappen.

Dit artikel werd geschreven door Paz Peña en Joana Varon van Coding Rights. Dit rapport werd oorspronkelijk gepubliceerd als onderdeel van een grotere reeks: “Global Information Society Watch 2019: Kunstmatige intelligentie: mensenrechten, sociale rechtvaardigheid en ontwikkeling.” Bezoek de website van GISWATCH voor het volledige rapport dat ook beschikbaar is onder CC BY 4.0 licentie.

Stel dat je toegang hebt tot een gegevensbank met informatie van 12.000 jonge meisjes en vrouwen tussen tien en negentien jaar oud, die in een arme provincie in Zuid-Amerika wonen. De dataset bevat gegevens over leeftijd, omgeving, ras, land van oorsprong, onderwijsniveau van het gezinshoofd, lichamelijke beperkingen en geestelijke aandoeningen, het aantal gezinsleden en of er wel of geen toegang is tot warm stromend water. Welke conclusies zou je uit een dergelijke dataset trekken? Of, misschien zou de vraag zijn ‘is het wel gewenst om er enige conclusie uit te trekken?’ Soms, en helaas vaker wel dan niet, is alleen al de mogelijkheid om een groot aantal gegevens te extraheren een goed excuus om ‘ze te laten spreken’ en, nog erger, er besluiten op te baseren.

De hierboven beschreven dataset is echt en wordt gebruikt door overheidsdiensten om voortijdig schoolverlaten en zwangerschap op jonge leeftijd te voorkomen. ‘Met intelligente algoritmes kunnen we kenmerken van personen aanwijzen die met deze problemen te maken kunnen krijgen en de overheid waarschuwen om preventief op te treden,’ zei [es] een vertegenwoordiger van Microsoft Azure. Het bedrijf is verantwoordelijk voor het automatisch leren-systeem dat in het Plataforma Tecnológica de Intervención Social (Technologisch Platform voor Sociale Interventie) wordt gebruikt. Het platform is opgezet door het Ministry of Early Childhood in de provincie Salta, Argentinië.

‘Met een technologie gebaseerd op naam, voornaam en adres, kun je voorspellen welk meisje of toekomstig, tienermeisje over vijf of zes jaar 86% kans heeft om op jonge leeftijd zwanger te raken,’ zei [es] Juan Manuel Urtubey, een conservatieve politicus en gouverneur van Salta. Het Ministry of Early Childhood heeft jarenlang samengewerkt [es] met de anti-abortus NGO Fundación CONIN om dit AI-systeem [es] op te zetten. De verklaring van Urtubey werd gedaan tijdens een campagne voor het legaliseren van abortus in Argentinië in 2018, gedreven door een sociale beweging voor seksuele rechten die lokaal in de voorhoede van de publieke discussie stond en veel internationale aandacht [en] kreeg. Het idee dat algoritmen tienerzwangerschappen kunnen voorspellen voordat ze plaatsvinden, is het perfecte excuus voor activisten tegen vrouwen [en] en hun seksuele en reproductieve rechten om abortuswetgeving onnodig te verklaren. Volgens hun verhalen kan als er voldoende informatie is van arme gezinnen, conservatief overheidsbeleid worden ingezet om abortus door arme vrouwen te voorspellen en te voorkomen. Bovendien bestaat de overtuiging dat ‘als het door een algoritme wordt aanbevolen, het wiskunde is en per definitie waar en onweerlegbaar.’

Het is ook belangrijk om erop te wijzen dat de door het platform gebruikte gegevensbank alleen gegevens over vrouwen heeft. Deze specifieke focus op een bepaalde sekse versterkt patriarchale genderrollen en geeft uiteindelijk tienermeisjes de schuld voor ongewenste zwangerschappen, alsof een kind zonder sperma zou kunnen worden verwekt.

Plataforma Tecnológica de Intervención Social heeft hierom en vanwege andere redenen veel kritiek gekregen. Sommigen noemden het AI-systeem een “leugen”, een “hallucinatie” en een “onnadenkende intelligentie” en zeiden [es] dat gevoelige data van arme vrouwen en kinderen een risicofactor zijn. Een zeer complete, technische analyse van fouten in AI-systemen werd gepubliceerd door het Laboratorio de Inteligencia Artificial Aplicada (LIAA) aan de universiteit van Buenos Aires. Volgens het LIAA, die de methodologie analyseerde die op GitHub is geplaatst [es] door een systeemingenieur van Microsoft, werd er een te hoge waarde toegekend aan de resultaten als gevolg van statistische fouten in de methodologie. De database bleek ook onzuiver vanwege onvermijdelijke gevoeligheden rondom het melden van ongewenste zwangerschappen. Bovendien waren er onvoldoende gegevens om betrouwbare voorspellingen te kunnen doen.

Desondanks wordt het platform nog steeds gebruikt. En wat erger is, slechte ideeën die als innovatie worden gepresenteerd, verspreidden zich snel: het systeem wordt nu toegepast in andere Argentijnse provincies [es], zoals La Rioja, Tierra del Fuego en Chaco, is geëxporteerd naar Colombia en geïmplementeerd in de gemeente La Guajira [es].

Het Plataforma Tecnológica de Intervención Social is slechts een heel duidelijk voorbeeld van hoe oplossingen met gebruik van kunstmatige intelligentie (AI), waarvan hun uitvoerders beweren dat het neutraal en objectief is, in sommige landen in Latijns-Amerika in toenemende mate wordt ingezet ter ondersteuning van potentieel discriminerend openbaar beleid dat de mensenrechten van kansarme mensen ondermijnt. Zoals het platform laat zien, betekent dit ook het monitoren en censureren van vrouwen en hun seksuele en reproductieve rechten.

Wij geloven dat een van de belangrijkste oorzaken voor een dergelijk schadelijk gebruik van automatisch leren en andere AI-technologieën een blind vertrouwen hebben in de hype dat big data de brandende kwesties van de mensheid zal oplossen. In plaats daarvan stellen we voor een transfeministische kritiek en raamwerk te bouwen dat niet alleen het potentieel biedt om de schadelijke effecten van kunstmatige intelligentie te analyseren, maar ook een proactief begrip van hoe je een emancipatoire, kunstmatige intelligentie kunt bedenken, ontwerpen en ontwikkelen die de genderbinaire en heteropatriarchale maatschappelijke normen van consumentisten, vrouwenhaters en racisten ondermijnt.

Big data als probleemoplosser of discriminatie vermomd als wiskunde?

In brede zin kan kunstmatige intelligentie worden omschreven als een technologie die voorspellingen doet op basis van het automatisch detecteren van datapatronen. Net als de regering van Salta gebruiken veel staten over de hele wereld steeds vaker algoritmische besluitvormingsinstrumenten om de distributie van goederen en diensten te bepalen, waaronder onderwijs, volksgezondheidsdiensten, politie en huisvesting. Programma's voor armoedebestrijding worden gedataficeerd door regeringen en algoritmen gebruikt om sociale uitkeringen voor armen en werklozen toe te wijzen. De daadwerkelijk beleefde ervaring van armoede en kwetsbaarheid wordt omgezet in machineleesbare gegevens die een tastbaar effect hebben op de levens en bestaansmiddelen van de betrokken burgers.

Cathy O'Neil, die gebruik van kunstmatige intelligentie in de Verenigde Staten onderzoekt, zegt dat veel AI-systemen ‘de neiging hebben om de armen te straffen.’ Ze legt uit:

Voor een deel is dit omdat ze zijn ontworpen om grote aantallen personen te evalueren. Ze zijn gespecialiseerd in grote volumes en ze zijn goedkoop. Dat is een deel van hun aantrekkingskracht. De rijken profiteren daarentegen vaak van persoonlijke data-invoer. […] We zien steeds weer dat gegevens van geprivilegieerden, vaker door mensen worden behandeld en data van de massa's door machines.

AI-systemen zijn gebaseerd op modellen die abstracte representaties, universaliseringen en vereenvoudigingen van complexe realiteiten zijn, waarbij veel informatie wordt weggelaten, volgens hun makers. O’Neil zegt:

Modellen weerspiegelen, ondanks hun reputatie van onpartijdigheid, doelen en ideologie. […] Onze eigen waarden en verlangens beïnvloeden onze keuzes, van de gegevens die we verzamelen tot de vragen die we stellen. Modellen zijn in wiskunde verpakte meningen.

In deze context zal kunstmatige intelligentie een afspiegeling zijn van de waarden van zijn makers. Daarom hebben veel critici zich gefocust op de noodzaak van diversiteit en inclusiviteit.

Inclusiviteit doet er toe [en] – van de ontwerpers van AI-systemen tot degenen die in de raden van bestuur zitten en welke ethische perspectieven worden meegenomen. Anders lopen we het gevaar om AI-systemen te bouwen met een beperkte en bevoorrechte visie op de maatschappij met zijn oude, vertrouwde vooroordelen en stereotypen.

Maar diversiteit en inclusiviteit zijn niet voldoende om een geëmancipeerd AI-systeem te creëren. In navolging van de ideeën van Marcuse [en] die zegt dat “de technologische productiewijze een specifiek aantal voorwaarden omvat die onze maatschappij heeft gekozen uit andere mogelijke voorwaarden” en omdat deze productiewijze de beslissende rol speelt in het vormgeven van technieken en richting geeft aan de toepassing en verspreiding ervan, is het belangrijk grondig onderzoek te doen naar de heersende belangen van dit historisch-maatschappelijk project. In theorieën inzake het recht op gegevensbescherming [en] is nagedacht over de noodzaak een agenda voor sociale rechtvaardigheid expliciet te verbinden met de data-revolutie die door sommige staten, bedrijven en internationale instanties wordt ondersteund. Mensen zouden door de staat en de particuliere sector, of wanneer ze gezamenlijk opereren, eerlijk moeten worden bekeken en behandeld.

Payal Arora zegt bijvoorbeeld dat verhalen over big data een overweldigend positieve connotatie hebben dankzij het neoliberale idee dat de op winst gerichte exploitatie van gegevens van de armen de door particuliere bedrijven de bevolking alleen maar ten goede zal komen. In veel opzichten betekent dit dat twee oude bekenden, kapitalisme en kolonialisme, manifest zijn als een AI-systeem personen ontdoet van hun autonomie en behandelt ‘als louter, nog te verwerken, onbewerkte gegevens‘ [en]. Zo zijn ook Couldry en Mejias van mening dat toe-eigening en benutting van gegevens voor waarde diepgeworteld is in kapitalisme en kolonialisme.

Door deze kritiek te verbinden met de racialisering van burgers en gemeenschappen door op een algoritme gebaseerde beslissingen, heeft Safiya Umoja Noble recent de term “technologische redlining” [en] gemunt. Een term die verwijst naar het proces van een discriminerende behandeling van data die ongelijkheid en onderdrukking versterkt. De term is gebaseerd op geografische uitsluiting in de VS (redlining) waarbij gemeenschappen systematisch werden uitgesloten van verschillende diensten, hetzij rechtstreeks, hetzij door het selectief verhogen van prijzen op basis van hun ras:

Ik denk dat gekleurde mensen het steeds meer zullen ervaren als een fundamentele dimensie van het genereren, ondersteunen of verdiepen van discriminatie op basis van ras, etniciteit en geslacht. Dit proces is centraal verbonden met distributie van goederen en diensten in de samenleving, zoals onderwijs, huisvesting en andere mensen- en burgerrechten, die nu vaak worden bepaald door software of algoritmische besluitvormingsinstrumenten – in de volksmond omschreven als kunstmatige intelligentie.

De vraag is hoezeer deze burgers en overheden die deze systemen kopen, ontwikkelen en gebruiken zich hiervan bewust zijn. Het geval van Salta, en vele anderen, laat ons duidelijk zien dat de logica van het promoten van big data als oplossing voor een onvoorstelbare reeks maatschappelijke problemen wordt geëxporteerd naar Latijns-Amerika en de uitdagingen van dekolonisatie versterkt. Deze logica sluit niet alleen pogingen tot kritiek op de status quo in alle gebieden van machtsverhoudingen, van geopolitiek tot gendernormen en kapitalisme in, maar maakt het ook moeilijker om alternatieve levenswijzen te ondersteunen en bevorderen.

Kunstmatige intelligentie, armoede en stigma

‘De toekomst is vandaag’. Dit lijkt het mantra te zijn wanneer overheidsinstanties gretig digitale technologieën toepassen zonder rekening te houden met kritische geluiden die aantonen dat hun effecten potentieel discriminerend zijn. Zo lijkt het gebruik van big data voor predictive policing [preventief toezicht] de laatste jaren een populaire tendens in Latijns-Amerika. Uit ons onderzoek blijkt dat verschillende vormen van deze AI-systemen zijn gebruikt (of bedoeld zijn te worden ingezet) in onder meer Argentinië, Brazilië, Chili, Colombia, Mexico en Uruguay [es]. Het meest voorkomende model is het in kaart brengen van mogelijke plaatsen van delict, maar er is ook geprobeerd om modellen te ontwikkelen die voorspellingen doen over waarschijnlijke misdaadplegers.

Zoals Fieke Jansen zegt:

Deze voorspellende modellen zijn gebaseerd op de veronderstelling dat bij ongewijzigde maatschappelijke en economische omstandigheden misdaad zich verspreidt, aangezien geweld tot ander geweld zal leiden, of dat een dader waarschijnlijk een soortgelijke misdaad in hetzelfde gebied zal plegen.

Veel critici wijzen op de negatieve effecten van predictive policing op armere buurten en andere getroffen gemeenschappen, waaronder gewelddadig politieoptreden [en], stigmatisering, racisme en discriminatie. Vanwege de vele kritische geluiden in de VS, waar deze AI-systemen al geruime tijd worden toegepast, wordt de werkelijke efficiëntie van deze systemen [en] door veel politiediensten opnieuw onder de loep genomen.

Dezelfde logica achter preventief toezicht vinden we in AI-systemen voor armoedebestrijding, waarbij gegevens worden verzameld om sociale risico's te voorspellen en overheidsprogramma's in te zetten. Zoals we hebben gezien, is dit het geval met de Plataforma Tecnológica de Intervención Social; maar het is ook aanwezig in systemen zoals Alerta Infancia in Chili. Ook in dit systeem worden voorspellingen gebaseerd op big data toegepast op minderheden in arme gemeenschappen. Het systeem wijst risicoscores toe aan gemeenschappen en genereert geautomatiseerde veiligheidswaarschuwingen die “preventieve interventies” mogelijk maken. Volgens officiële bronnen [es] definieert dit platform de risico-index op basis van factoren zoals tienerzwangerschap, problematisch gebruik van alcohol en of drugs, delinquentie, chronische psychiatrische aandoeningen, kinderarbeid en commerciële seksuele uitbuiting, mishandeling of misbruik en voortijdig schoolverlaten. Naast veel kritiek op het systeem, verklaarden maatschappelijke groeperingen die zich bezighouden met jeugdrecht dat door het systeem, buiten toezicht, ‘een bepaalde vorm van sociale en culturele normen en waarden wordt opgelegd en vormen van stigmatisering, discriminatie en zelfs criminalisering van de bestaande Chileense, culturele diversiteit wordt aangemoedigd en maatschappelijk gevalideerd’. Ze benadrukten [es]:

Dit treft vooral de inheemse bevolking, migranten en lage inkomensgroepen, waarbij wordt voorbijgegaan aan het feit dat een groeiende culturele diversiteit ook een grotere gevoeligheid, zichtbaarheid en respect en een cultureel relevante aanpak voor overheidsbeleid vereist.

Er zijn ten minste drie gemeenschappelijke kenmerken in deze systemen die in Latijns-Amerika worden gebruikt, die bijzonder zorgwekkend zijn gezien hun potentieel om het sociale onrecht in de regio te vergroten. Een daarvan is de identiteit die wordt opgedrongen aan arme individuen en bevolkingsgroepen. Deze kwantificering van het zelf, van (sociaal geconstrueerde) lichamen en gemeenschappen heeft geen ruimte voor heronderhandeling. Dataficering vervangt met andere woorden “maatschappelijke identiteit” door “systeem-identiteit”.

Gerelateerd hieraan is er nog een tweede kenmerk dat het sociale onrecht versterkt: het gebrek aan transparantie en verantwoording in deze systemen. Geen van beide is ontwikkeld door middel van een participatief proces van welk type dan ook, hetzij specialisten hetzij (nog belangrijker) de getroffen gemeenschappen. In plaats daarvan lijken AI-systemen van bovenaf het publiek beleid van overheden te versterken, waardoor mensen ‘begunstigden’ of ‘consumenten’ worden. Zoals hacking verwees naar het ‘verzinnen van mensen’ via classificatie, produceert dataficering begunstigden door middel van demografische categorieën die uit de gegevens zijn geëxtraheerd en geschikt zijn gemaakt voor controle van bovenaf.

Ten slotte: deze systemen worden ontwikkeld in wat we “neoliberale consortia” zouden noemen, waar overheden AI-systemen ontwikkelen of kopen die de door de particuliere sector en universiteiten zijn ontwikkeld. Dit vraagt om verder onderzoek, aangezien het ontwerp van AI-systemen lijkt te zijn doordrongen van neo-liberale waarden, niet alleen door bedrijven, maar ook door universiteiten [es] die worden gefinancierd met publieke middelen gericht op innovatie en verbetering van de handel.

Waarom een transfeministisch theoretisch kader?

Zoals we hebben gezien, in deze voorbeelden van het gebruik van dit soort technologieën, weerspiegelen een aantal programma's voor armoedebestrijding in Latijns-Amerika een positivistisch gedachtegoed, waarin de werkelijkheid beter lijkt te worden begrepen en ten goede verandert als we elk aspect van ons leven kunnen kwantificeren. In deze logica wordt tevens de visie bevorderd waarin mensen op zoek zijn naar een ‘vooruitgang’ die synoniem is met hogere productie en consumptie en uiteindelijk de exploitatie van lichamen en gebieden.

Al deze cijfers en statistieken over levens van kansarme mensen worden verzameld, samengesteld en geanalyseerd volgens de logica van ‘productiviteit’ om uiteindelijk het kapitalisme, de heteropatriarchie, blanke suprematie en het kolonialisme te behouden. Ook al lijkt het verhaal van het quantified self [het meetbare zelf] op het individu gericht, is er geen ruimte voor het herkennen van alle verschillende lagen van de menselijke conditie, alternatieve levenswijzen of het stimuleren van gemeenschappelijke initiatieven.

We moeten ons bewust worden van hoe we methodologische benaderingen voor gegevensverwerking creëren, zodat de positivistische analysekaders en overheersende, kwantitatieve methoden – die steeds meer centraal lijken komen te staan in de ontwikkeling en implementatie van hedendaagse algoritmen en geautomatiseerde besluitvormingsprocessen – worden uitgedaagd.

Zoals Silvia Rivera Cusicanqui zegt:

Hoe kan het exclusieve, etnocentrische ‘wij’ worden verwoord met het inclusieve ‘wij’ – een thuisland voor iedereen – die dekolonisatie beoogt? Hoe hebben we, in het hier en nu, het gekoloniseerde heden en zijn omverwerping gedacht en geproblematiseerd?

Zelfs voorbij een mensenrechtenkader, zijn dekoloniale en transfeministische benaderingen van technologieën fantastische instrumenten om een alternatieve toekomst na te streven en de heersende logica waarin AI-systemen worden ingezet omver te werpen. Transfeministische waarden moeten in deze systemen worden ingebed. Vooruitgang in de ontwikkeling van technologie helpt ons te begrijpen en te doorbreken wat de zwarte feministische wetenschapper Patricia Hill Collins de ‘matrix van overheersing’ noemt (het herkennen van verschillende lagen van onderdrukking veroorzaakt door ras, klasse, geslacht, religie en andere aspecten van intersectionaliteit). Dit zal ons leiden naar een toekomst die niet alleen mensenrechten, maar ook sociale en ecologische rechtvaardigheid bevordert en beschermt, omdat beide de kern vormen van dekoloniale, feministische theorieën.

Een nieuwe voorstelling van de toekomst

Om deze feministische benadering in de praktijk te brengen, hebben we bij Coding Rights, in samenwerking met MIT's Co-Design Studio, geëxperimenteerd met een game, dat we Oracle for Transfeminist Futures noemen. In een reeks workshops hebben we gebrainstormd over welke transfeministische waarden ons zullen inspireren en helpen om ons een andere mogelijke toekomst voor te stellen. Ursula Le Guin once zei eens:

Science fiction gaat eigenlijk niet echt over de toekomst. Het gaat over het heden. Maar de toekomst geeft ons een grotere verbeeldingsvrijheid. Hij is als een spiegel. Je kunt de achterkant van je eigen hoofd zien.

Er kwamen inderdaad tastbare voorstellen voor verandering in het heden naar voren, toen we ons in de workshops de toekomst gingen voorstellen. In de loop van de tijd kwamen tijdens de bijeenkomsten onder meer waarden als keuzevrijheid, verantwoordelijkheid, autonomie, sociale rechtvaardigheid, non-binaire genderidentiteit, samenwerking, decentralisatie, instemming, (dekoloniale) diversiteit, empathie en veiligheid naar voren.

Door slechts één of twee van deze gecombineerde waarden [en] te analyseren, hebben we een instrument om te beoordelen hoe een bepaald AI-project of -implementatie scoort in termen van een dekoloniaal, feministisch kader van waarden. Op basis hiervan kunnen we alternatieve technologieën of praktijken aanbieden die beter aansluiten bij het heden en de door ons gewenste toekomst.

 

Start een discussie

Auteurs graag inloggen »

Regels

  • Alle reacties worden beoordeeld door een moderator. Verzend je reactie maar één keer, anders kan deze als spam worden gemarkeerd.
  • Wees respectvol tegen elkaar. Reacties met hatelijke opmerkingen, obsceniteiten en persoonlijke aanvallen worden niet goedgekeurd.