Ethiek in AI

AI-systemen zijn tegenwoordig zo wijdverspreid en ingeburgerd, dat we vaak niet stil staan bij de benodigde interactie tussen mens en algoritme. Algoritmes bepalen jouw social media feed, vertellen je wat jouw volgende aankoop moet zijn op Amazon en hoe je het beste van A naar B komt. Er is veel vertrouwen in AI, maar is dat vertrouwen wel terecht? Daarnaast wordt AI ook ingezet om mogelijk levensbepalende beslissingen te maken over het risico op recidieven, het stellen van een medische diagnose of hoe jouw zelfrijdende auto reageert in het geval van een gevaarlijke situatie.

Algoritmes maken vaak de juiste beslissing, maar als het mis gaat, kan het in bepaalde situaties onomkeerbare gevolgen hebben. Neem de volgende voorbeelden:

• Bij de Belastingdienst bepaalde een automatisch risicoselectiesysteem welke toeslagenaanvragen extra gecontroleerd dienen te worden. De vraag over de dubbele nationaliteit had invloed op de uitkomst van het algoritme, dat bij heeft gedragen aan de kinderopvangtoeslagenaffaire.
• Een Amerikaanse tiener kreeg op basis van haar aankopen bij een supermarktketen, kortingsbonnen voor babykleding per post opgestuurd. Haar vader kwam er thuis achter dat zijn dochter zwanger was, nog voordat zij het hem had verteld.
• Het systeem van Amazon dat cv’s beoordeelt van mogelijke werknemers, gaf vrouwen een lagere kans om aangenomen te worden. Het model was namelijk getraind op historische data, die vooral witte en mannelijke werknemers beslaat.

AI heeft veel macht en komt daardoor met grote verantwoordelijkheid. Ethische vragen rondom AI zijn niet meer enkel filosofische vragen, maar hebben tegenwoordig ook praktische betekenis die dienen te worden onderzocht door overheden en bedrijven. Hierop heeft de EU zeven pijlers van responsible AI opgesteld[1]:

1. Menselijke keuzevrijheid en overzicht
2. Technische robuustheid en veiligheid
3. Privacy en gegevensbeheer
4. Diversiteit, geen discriminatie en eerlijkheid
5. Transparantie
6. Verantwoording
7. Milieu en maatschappelijk welzijn

Er zijn een aantal toolkits, assessments en checklists ontwikkeld om transparantie over deze keuzes te bevorderen. Zo bestaat er de Assessment List for Trustworthy Artificial Intelligence (ALTAI). Dit is een self-assessment voor organisaties die beoordeelt of een systeem voldoet aan bovenstaande zeven principes van verantwoordelijke AI. Dit assessment is ontwikkeld door de EU en is bedoeld om te worden toegepast door multidisciplinaire teams van ontwikkelaars, specialisten, eindgebruikers, legal/compliance officers en het management.

Op het moment is het landschap van AI nog niet zo ver ontwikkeld dat een algoritme verantwoordelijk kan worden gehouden voor gemaakte beslissingen – er is nog geen e-personhood, een algoritme als rechtspersoon. De grootste verantwoordelijkheid ligt dus op dit moment nog steeds bij bedrijven en overheden om de principes omhoog te houden.

In deze blog wordt de focus gelegd op de acties die bedrijven kunnen ondernemen om verantwoordelijke AI te ontwikkelen en in te zetten. Naast deze verdieping valt nog veel meer te schrijven over ethiek en AI. In dit geval zal niet worden ingegaan op systemen zoals zelfrijdende auto’s of drones, die voor ethische dilemma’s komen te staan, maar zal worden ingegaan op ‘huis-, tuin- en keukenalgoritmes’ waar onze samenleving dagelijks mee wordt geconfronteerd.

GARBAGE IN, GARBAGE OUT

Allereerst bespreken we het onderwerp bias. In deze context betekent dat zoiets als een vertekening van de werkelijkheid. Slechte data leidt tot slechte modellen en uitkomsten. Als een algoritme wordt ingezet om honden in foto’s te herkennen, en het model mist herhaaldelijk foto’s waarop duidelijk een hond te zien is of een bosbessenmuffin classificeert als een chihuahua [2], geeft dat een reden om te denken dat een model niet optimaal werkt. Misschien is de data van input slecht gelabeld, is het niet representatief, was er iets mis met de configuratie van het model of waren er problemen met over- of underfittin

De gevolgen van een verkeerde classificatie uit deze voorbeelden zijn niet verstrekkend. Maar wat als een gezichtsherkenningsmodel wordt ingezet om criminelen te identificeren? Als een persoon door dit model onterecht voor een misdadiger zou worden aangezien, kunnen de gevolgen onterecht levensbepalend zijn. De oorzaak van dit probleem kan liggen bij het optimaliseren van het algoritme, maar een venijnigere aanleiding kan liggen bij bias die ingebakken zit in de trainingsdata. Machines leren alleen van wat je ze laat zien – ze nemen geen genuanceerde contextuele of culturele factoren mee. Een algoritme dat bepaalt of een vrouwelijke sollicitant geschikt zou kunnen zijn voor een functie, geeft haar mogelijk een lagere score wanneer het model getraind is op historische data waarin mannen overgerepresenteerd zijn. Andersom kunnen datasets waarin minderheden overgerepresenteerd zijn, leiden tot situaties waarin een algoritme deze personen als ‘hoger risico’ bestempelt. Hierdoor kan een situatie zich voordoen waarin een groep een grotere kans heeft om in de gevangenis te komen of een langere straf opgelegd te krijgen (waardoor deze groepen over gerepresenteerd worden in nieuwe data, waardoor het risico dat deze groepen vaker in de gevangenis belanden, waardoor…).

Bronnen van mogelijke bias in machine learning (ML) systemen zijn [3]:

• Skewed sample: bias in een initiële dataset kan door de tijd versterkt worden. Bijvoorbeeld: een politiedepartement zal sneller agenten sturen naar een wijk waar de hoeveelheid misdaad hoog is. Dit maakt het meer waarschijnlijk dat er daadwerkelijk een vorm van misdaad wordt gedetecteerd. Zelf al is er meer misdaad aanwezig in een andere buurt, kan het gebrek aan politieaanwezigheid leiden tot een lager geregistreerd misdaadcijfer. Er ontstaat zo een positieve bias naar buurten met minder politieaanwezigheid.
• Tainted examples: ieder ML-systeem behoudt de bias die bestaat in de historische data door bias van mensen. Een voorbeeld is afkomstig van Google Translate, dat bij talen met genderneutrale voornaamwoorden vaak een stereotyperende vertaling maakt: zij is een verpleegster, hij is ingenieur.
• Limited features: als de betrouwbaarheid van het label voor een minderheidsgroep veel lager is dan de betrouwbaarheid van labels voor de meerderheidsgroep, is de nauwkeurigheid van de voorspellingen gewoonlijk lager bij de minderheidsgroep.
• Sample size disparity: als er veel minder trainingsdata zijn voor de minderheidsgroep dan dat beschikbaar is voor meerderheidsgroepen, werkt het model minder goed op de minderheidsgroep.
• Proxies: er kan gekozen worden om gevoelige informatie bewust niet te gebruiken bij het trainen van een model. Data over bijvoorbeeld postcodes kan als indicatie dienen voor gevoelige informatie zoals etniciteit. Toch kan het interessant zijn om informatie zoals postcodes wel mee te nemen tijdens het trainen. Ter illustratie: scholieren afkomstig uit steden met een hoger gemiddeld inkomen zouden meer mogelijkheden tot huiswerkbegeleiding hebben dan kinderen uit achterstandswijken. Wanneer postcodes geen onderdeel zijn van de trainingsdata, hebben scholieren uit welvarende steden een grotere kans om aangenomen te worden op een universiteit omdat er in het model geen rekening wordt gehouden met deze ongelijkheid.

Het is belangrijk dat organisaties bewust nadenken over de data waarop een model getraind gaat worden en welke mogelijke bronnen van bias aanwezig zijn in de dataset. De gebruikte data moet representatief zijn. Het voorkomen van bias is natuurlijk ideaal. Het blijven monitoren van bias binnen het algoritme kan ervoor zorgen dat de beslissingen zo min mogelijk beïnvloedworden. Data scientists ontwikkelen de algoritmes, maar de verantwoordelijkheid hierin kan niet volledig op hun schouders rusten. Het is aan iedereen die betrokken is bij een AI-project om actief bias te voorkomen om correcte en ethische besluiten te nemen.

TRANSPARANTIE

In een voorgaand gepubliceerde blog over explainability en explainable AI (XAI) en het belang ervan wordt beschreven hoe XAI inzicht geeft over de totstandkoming van beslissingen en welke features hierbij een rol spelen. Deze ‘uitlegbaarheid’ kan ervoor zorgen dat oneerlijke situaties voorkomen kunnen worden en dat fouten in het systeem vooraf worden getraceerd. Uitlegbaarheid is gerelateerd aan transparantie. Waar uitlegbaarheid vooral draait om de output van een model, gaat transparantie meer over de processen die vooraf zijn gegaan aan het trainen en in productie nemen van een algoritme: de inputdata, analysekeuzes en de werking van het algoritme.

Als eindgebruiker heb je meestal weinig zicht in de trainingsdata, waar die vandaan komen, hoe die schoongemaakt zijn en op welke features het model precies is getraind. Je ‘moet er maar op vertrouwen’ dat het algoritme in jouw belang werkt. Transparantie naar de buitenwereld en de mogelijkheid voor eindgebruikers om feedback te kunnen leveren bevorderen mogelijk het vertrouwen in algoritmes. De gemeente Amsterdam geeft een mooi voorbeeld met hun algoritmeregister. Het idee hierachter is dat geautomatiseerde dienstverlening dezelfde principes moet respecteren als overige dienstverlening door de gemeente – o.a. open en controleerbaar zijn, mensen gelijk behandelen en vrijheid en zeggenschap niet inperken.

Volledige transparantie is niet altijd mogelijk, bijvoorbeeld wanneer algoritmes geheim (moeten) zijn. Neem weer de fraudedetectie bij de Belastingdienst. Als de Belastingdienst inzage zou geven in het algoritme, zouden fraudeurs hun aangifte precies kunnen invullen zodat ze detectie kunnen omzeilen. Voor commerciële bedrijven is het ook niet altijd wenselijk om het algoritme vrij te geven. Google heeft een voorstel gedaan om ‘model cards’ te gebruiken om transparantie over modellen te geven aan zowel experts als non-experts. Model cards kunnen informatie bevatten over o.a. de prestaties van een model, de gebruikte data, beperkingen van het model, ethische risico’s en gebruikte strategieën om deze te overkomen. Er is een Model Card Toolkit beschikbaar die werkt met scikit-learn om zelf dergelijke rapportages te maken. Zo’n aanpak zou het voor bedrijven, die niet hun hele algoritme uit de doeken willen doen, mogelijk maken om toch transparanter te zijn over de gebruikte algoritmen. Toch is transparantie vergelijkbaar met ‘het kijken door een raam’: je ziet alleen wat het venster van het raam laat zien.

MENSELIJK TOEZICHT

Volgens artikel 22 van de AVG mag het eindoordeel in de regel niet enkel van een algoritme komen, als het gaat om beslissingen die ingrijpende gevolgen op het leven van een mens kunnen hebben:

 “De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde werking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.”

In werkelijkheid vinden mensen het vaak lastig om af te wijken van het algoritme. De computer zal het immers wel beter weten. Het is dus belangrijk dat er geen automatische toestemming is ingesteld wanneer een mens een beslissing van een algoritme moet beoordelen.

CONCLUSIE

We leven in een maatschappij waarbij ons handelen continu wordt beïnvloed door algoritmes. Algoritmes maken ook steeds vaker beslissingen over ons leven, bijvoorbeeld bij het aanvragen van een lening of hypotheek. Mensen, en niet het algoritme zelf, hebben de grootste invloed op de morele verantwoording. Het is daarom belangrijk om stil te staan bij het gebruik van bepaalde data om een model te trainen en te voorkomen dat er mogelijk bias aanwezig is dat leidt tot oneerlijke beslissingen. Binnen een organisatie moet de verantwoordelijkheid hier niet volledig bij data scientists liggen, maar moet er een dialoog zijn met alle betrokkenen van het project. Transparantie over keuzes die gemaakt zijn in het ontwikkelen van een AI-systeem geeft de mogelijkheid om feedback te krijgen en geeft de eindgebruiker meer vertrouwen in het systeem. Het is aan de organisatie om alle afwegingen te documenteren. Verder moet het altijd mogelijk zijn voor de mens om een beslissing die voorbereid is door een AI-systeem, terug te draaien. Er is veel vertrouwen in AI en we moeten ons er sterk voor maken dat het vertrouwen terecht is.

Wil je meer weten over dit onderwerp of geïnspireerd worden over voorbeelden hoe wij dit aanpakken in onze projecten, neem vrijblijvend contact op voor meer informatie!