"We geloven onterecht dat algoritmes neutraal zijn, maar vaak verbergen ze vooroordelen", zegt Virginia Eubanks. De professor komt uit de academische hoek en werd naar eigen zeggen per ongeluk onderzoeksjournalist toen ze begon te spreken met de doelen waar algoritmische besluitvorming zich op richt, bijvoorbeeld arme Amerikanen die mogelijkerwijs voor een woning in aanmerking kwamen op basis van een computerbeoordeling. Ze schreef naar aanleiding van haar onderzoek het boek Automating Inequality, dat gaat over den negatieve effecten die optreden wanneer armoedebestrijding wordt uitgevoerd door algoritmes.
Algoritmische detectie kinderverwaarlozing
Ze sprak over dat proces op een evenement van IT-instituut SURF en medialab SETUP gisteravond in Utrecht. Eubanks beschrijft een aantal schrijnende praktijkvoorbeelden, bijvoorbeeld van een tool die misbruik of verwaarlozing van kinderen moest opmerken.
Dat systeem maakte een risicoscore op basis van interacties die gezinnen hadden met de kinderbescherming. Ook anonieme wraakzuchtige meldingen van buurtbewoners, exen of zelfs boze kinderen zelf werden meegenomen en contactmomenten waarin hulp werd gezocht leverden op dat gezinnen werden aangemerkt als potentieel kinderen in gevaar brengend.
In een ander voorbeeld werd een gezin van verwaarlozing beschuldigd door een arts vanwege het niet toedienen van antibiotica dat de familie niet kon betalen. Een menselijke behandelaar gaf aan dat alles in orde lijkt, maar die melding én de follow-up tellen mee in de risicobeoordeling.
Daadwerkelijke behandelaars bij de kinderbescherming maken zich zorgen dat het systeem juist verwaarlozing en misbruik over het hoofd ziet: de algoritmes richten zich op gezinnen die in contact zijn gekomen met diensten die lokale overheden aanbieden om burgers tegemoet te komen. Dat zijn in de regel niet de burgers die met hun inkomen worstelen. De middenklasse kan private zorg en opvang veroorloven. De lagere klasse heeft zulke hulp wél nodig en gegevens van arme gezinnen worden toegevoegd aan de database. Die richt zich dan ook vrijwel uitsluitend op de minderbedeelden om misbruik of verwaarlozing op te merken. Of zoals één gezin het verwoordde: "Parenting while poor is being confused with poor parenting."
Goede bedoelingen
"Nou hoor ik vaak: 'o, je hebt gekeken naar de slechtste uitkomsten en presenteert deze als beeld van wat er mis gaat', maar een aantal van deze systemen zijn juist ontworpen door slimme mensen met de beste bedoelingen", benadrukt Eubanks. Ze haalt in haar voorbeelden een systeem aan in Los Angeles om woonruimte uit te geven aan kwetsbare doelgroepen. Die algoritmes maken een triage van mensen die huisvesting het hardst nodig hebben. Maar veel mensen vallen tussen wal en schip.
Een voorbeeld daarvan gaat over een dakloze die een te lage score had om in aanmerking te komen en wiens score daalde nadat hij werd gearresteerd voor overlastgevend verblijf in de openbare ruimte. "Het jaar dat hij in de gevangenis doorbracht telde als 'huisvesting' in die score", licht ze toe.
In verdere gesprekken met de makers van dit oneerlijke systeem, leerde ze dat de ontwerpers verstandige mensen waren die al bij het design rekening hielden met dergelijke effecten en proberen een rechtvaardig systeem te bouwen. Van het idee 'IT'ers moeten een ethische eed afleggen', wat ze in haar boek nog stelde, is Eubanks dan ook inmiddels teruggekomen, vertelt ze.
Het blijkt ontzettend moeilijk om per ongeluk gecreëerde ongelijkheid uit te sluiten vanwege uiteenlopende sociale uitdagingen, waaronder hoe ons terloops racisme en seksisme zich uit in data en hoe we deze gegevens gebruiken en de manier waarop we armoede afdoen als een niet ter zake doend probleem, terwijl het een groot sociaal issue is: gezinnen met één inkomen leven in Nederland al vaak op of onder de armoedegrens (in Nederland is een inkomen 'toereikend' als je als alleenstaande een inkomen rond 1100 euro per maand hebt, voor een gezin met twee kinderen zo'n 2100). In Amsterdam zit één op de tien personen op deze grens. In de VS is het nog groter, met 12,3 procent van de burgers die moet rondkomen van 1000 dollar per maand of minder. "Dit is geen klein issue", aldus Eubanks.
Empathie outsourcen
Ze denkt dan ook dat het probleem nog niet eens zozeer in de technologie zelf zit, maar in een politiek en sociale uitdaging. Ze illustreert haar centrale stelling aan de hand van het voorbeeld van het huisvestingsprogramma in LA dat een algoritmische triage uitvoert van welke personen het behoeftigste zijn. Er zijn veel meer mensen dan beschikbare woningen, dus de uitgifte daarvan wordt bepaald aan de hand van behoeftigheid. Maar er verandert niets aan de beschikbaarheid. "Triage is tijdelijk. Als het structureel is, spreek je niet meer van triage, maar van rantsoenering." Het idee dat we bepalen welk mens hulp verdient (en dus ook wie je daarmee aan de kant schuift) is een morele beslissing die voorbij gaat aan het concept dat menselijke waardigheid een universele waarde zou moeten zijn.
Dat is volgens haar het kwalijkste aan algoritmische besluitvorming: we outsourcen empathie aan een machine. De systemen vormen een moreel kompas, waardoor er geen mensen meer aan te pas hoeven te komen die 's nachts wakker liggen van een moreel lastige keuze. Die verschuiving naar data en machine in plaats van empathie en mens ziet ze al bij de Amerikaanse kinderbescherming. "De oude garde zag hun werk niet als dataverwerking, maar als het helpen van mensen die een traumatische gebeurtenis meemaken. Het verloop bij de kinderbescherming is groot, dus er zijn maar weinig mensen meer die zich de tijd van vóór deze systemen herinneren toen ze negen jaar geleden werden ingevoerd. De nieuwe werknemers zien hun baan meer als informatieverwerker."
En dat maakt het probleem groter: data wordt leidend, en dat is problematisch als de ingebedde aannames en waarden daarin tot onrechtvaardige beslissingen leiden. "Wat als het probleem niet ligt in gebrekkige systemen of efficiëntie, maar dat de systemen die onze gebrekkige sociaal-culturele waardes simpelweg té goed uitvoeren?"
Kritiek is geen teken van luddisme
Ondanks alles wat potentieel mis gaat en wat nog erger kan worden, is Eubanks positief over onze technologische toekomst. "Je kunt zeggen 'technologie is altijd goed', maar dat is iets voor blaadjesmakers. Of 'technologie is altijd slecht', maar dat lijdt tot paranoia of berusting. De stelling 'technologie is neutraal' is een gevaarlijke bewering."
Technologie is neutraal, en het doelmatige gebruik dicteert of het goed of slecht is, zo nemen we in de IT graag aan. Ook deze redacteur heeft regelmatig betoogd dat software als een broodmes is: je kunt hem gebruiken om brood te snijden, maar ook om de buurman neer te steken.
Maar dat is te simplistisch gesteld. Vooral wanneer we het hebben over datagedreven technologie, kun je deze stelling niet volhouden, omdat de technologie wordt gebouwd door mensen die zelf sociaal-culturele aannames hebben ook al zien we dat niet altijd of begrijpen we niet wát onze aannames zijn. Dat wordt vergroot als je denkt aan algoritmes op basis van historische data, omdat deze gegevens niet neutraal zijn.
Dat zie je regelmatig in de praktijk, onder meer met een wervingsalgoritme bij Amazon dat mannen aan een baan hielp omdat eerdere IT'ers voornamelijk man was of een juridisch beoordelingsalgoritme in de VS dat zwarte mannen eerder tot recidive in staat achtte dan blanke, omdat de cijfers waren gebaseerd op menselijk politiewerk met neveneffecten als profilering. Het gevolg was dat zwarte Amerikanen langer in de cel bleven dan blanke. Wat zich vervolgens weer uit in de vervolgcijfers: een zwarte Amerikaan zit gemiddeld langer in de cel dan een blanke en die data wordt vervolgens weer ingevoerd in het algoritme in een negatieve feedbackloop.
Vandaar dat een kritische kijk op wat we bouwen niet geheel onverstandig is. Kritisch zijn op technologie, betekent niet dat je anti-technologie bent, legt Eubanks uit. Integendeel zelfs. "Niemand zegt als je schrijft over de instortende huizenmarkt 'o, je bent vast anti-huis'." Eubanks gelooft dat je kritisch moet zijn op deze systemen vóórdat we ze breed inzetten zonder goed te begrijpen wat de risico's zijn. "Het is geen oplossing om luddisme te omarmen en machines kapot te slaan. Nou ja, sommige machines moeten we misschien kapotslaan", grapt ze. "Maar we hebben machines die gebreken bevatten en het is een slecht plan om die op te schalen."
Technologische toekomst
"Technologie geeft ons tools die kunnen leiden naar sociale macht", meent Eubanks. Neem kredietwaardigheid in de VS. "Die heeft een enorme impact op onze levens: het bepaalt of je in aanmerking komt voor een huis en heeft invloed op je carrière. Voorheen was het een volledige black box van waarom je precies een bepaalde score kreeg. Burgers verenigden zich toen en eisten inzage. We beseften dat dat ons recht was omdat het invloed uitoefende op ons leven." Nu hebben Amerikanen inzicht in de redenen dat kredietwaardigheid daalt of stijgt.
Zo'n sociale beweging voorziet ze ook in het big data-tijdperk. "[Instituties die] een stap te ver gaan, bieden een kans om ons te organiseren. We kunnen de wereld die we willen zelf schapen. We moeten niet simpelweg deze vooruitgang tegenwerken, maar stilstaan bij wat onze waarden zijn. Bijvoorbeeld: Heb vertrouwen in en respect voor de waardigheid van mensen" en houd hier rekening mee bij het ontwerpen van onze systemen. Ze gelooft dat hier oplossingen voor zijn: een zeer diverse groep van technologen, onderzoekers en indirecte stakeholders (zeg maar, de 'doelwitten' van algoritmes) die bij de ontwerpfase kijken naar deze aspecten gaat bijvoorbeeld al heel ver om een aantal van deze problemen uit te sluiten.
-
-
Er zijn nog geen reacties.Reageer
Preview