“AI-applicaties die teksten beoordelen van leerlingen brengen mogelijk een risico mee”
Onlangs publiceerde het College voor de Rechten van de Mens onderzoek naar de toepassing van algoritmen in het onderwijs. Ed Smeets, senior onderzoeker bij KBA Nijmegen, vertelt over de uitkomsten en de consequenties.
door Robert Heeg
Het haalde eerder deze maand de landelijke media: algoritmen worden steeds meer ingezet in het onderwijs, bijvoorbeeld in lesmateriaal dat zich aanpast aan het niveau van een leerling, programma’s die werk geautomatiseerd nakijken, en fraudeopsporing. Volgens het College voor de Rechten van de Mens vergroot de inzet van algoritmen de risico’s op discriminatie en uitsluiting, en moeten scholen en leraren daar meer bewust van worden gemaakt. Ed Smeets was namens KBA Nijmegen een van de onderzoekers.
Wat was de aanleiding voor dit onderzoek?
‘Het college had eerder zelf al onderzoek gedaan naar algoritmen bij sollicitatieprocedures en de mogelijke effecten op kansenongelijkheid. De titel was: Als computers je CV beoordelen, wie beoordeelt dan de computers? Zij concludeerden toen al dat algoritmen mogelijk bevooroordeeld kunnen zijn ten opzichte van bepaalde groepen, en dat er problemen kunnen ontstaan als cv’s op basis van algoritmen beoordeeld worden. Het is dus belangrijk om ook in het onderwijs na te gaan wat daar de risico’s zijn op discriminatie, uitsluiting en kansenongelijkheid.’
En die zorg hebben jullie ook wel kunnen bevestigen.
‘Ja, al is het wel zo dat je niet precies weet wat die algoritmen doen. Ze vormen een soort black box; daar gaat iets in en er komt iets uit. En of wat er uitkomt helemaal klopt, dat weten we niet precies. We hebben nu vooral de risico’s in kaart gebracht. Er worden allerlei toepassingen gebruikt van adaptieve programma’s, adaptieve leermiddelen en leerlingvolgsystemen. Adaptieve toetsen reageren op wat de leerling doet en bieden daar dan een aangepast aanbod bij. Het kan zijn dat bijvoorbeeld leerlingen met ADHD of autisme anders reageren en het algoritme daar geen rekening mee houdt. Maar er zijn nog weinig concrete voorbeelden van uitsluiting te vinden. Zulke gevallen moet je eerst zoeken en vervolgens moet je ze kunnen toewijzen aan de bias in hun algoritme.’
In de voetnoten van jullie onderzoek staat wel een voorbeeld van discriminerende fraudedetectie.
‘Klopt. Een student van de Vrije Universiteit klaagde bij het College voor de Rechten van de Mens over de algoritmen voor gezichtsdetectie in de proctoring software Proctorio. Zij kreeg mogelijk door haar donkere huidskleur problemen bij het deelnemen aan tentamens tijdens de corona-periode. Die software herkende haar blijkbaar niet als mens, behalve wanneer zij een felle lamp op haar gezicht scheen. De universiteit heeft de klacht weerlegd door te verwijzen naar andere mogelijke oorzaken, zoals een slechte internetverbinding, maar in haar tussenoordeel verwees het College wel naar wetenschappelijk onderzoek waaruit bleek dat algoritmen voor gezichtsdetectie niet altijd goed functioneren.’
Ik las ook dat sommige antifraudesoftware het risico op uitsluiting of ongelijke behandeling zou vergroten.
‘AI-applicaties die teksten beoordelen van leerlingen, zoals Perusall, brengen mogelijk een risico mee. Het kan bijvoorbeeld gebeuren dat dergelijke applicaties Engelstalige teksten van leerlingen die Engels niet als eerste taal hebben, ten onrechte beoordelen als geproduceerd door een GPT. Het programma herkent alleen dat de woordenschat van deze studenten niet complex genoeg is, en houdt dus geen rekening met de achtergrondinformatie van de leerling. Dat kan er dus toe leiden dat de leerling ten onrechte van fraude wordt beschuldigd.’
Waarom werkten jullie voor dit onderzoek samen met ResearchNed?
‘KBA Nijmegen is ontstaan vanuit de Radboud Universiteit, zo’n 20 jaar geleden, en we zijn gevestigd op de campus. Een paar jaar geleden is het zelfstandig onderzoeksinstituut ResearchNed aan de KBA Groep toegevoegd, evenals het Expertisecentrum Nederlands. Door de bundeling van expertise kunnen wij intern altijd snel een deskundig projectteam samenstellen.’
Wat vond jij zelf een opvallende conclusie uit dit onderzoek?
‘Mijn collega-onderzoeker Daniëlle van Helvoirt deed een belronde langs sectororganisaties en vertegenwoordigende organisaties. Daaruit bleek dat iedereen dit een belangrijk thema vindt en dat erover wordt nagedacht of men erover wil gaan nadenken, maar dat er op dit moment eigenlijk nog weinig concreet beleid is.’
De maatregelen lopen meestal een paar stappen achter op de technologie. Wanneer komen er uit dit onderzoek oplossingen die misstanden gaan voorkomen?
‘Dat zal tijd nodig hebben. Meestal moeten dingen eerst flink misgaan voordat er beter naar gekeken wordt. Het moet zeker op landelijk niveau worden aangepakt en de overheid zal er een rol in moeten hebben. Er is wel een algoritmeregister van de overheid met daarin 368 algoritmen. Als je daar ‘onderwijs’ intikt dan krijg je één resultaat… Als je openheid wilt bieden, dan zouden daar dus veel meer algoritmen in moeten staan die in het onderwijs worden gebruikt.’
Over Ed Smeets
Ed studeerde Letteren en toegepaste Taalkunde en promoveerde in 1996 in de sociale wetenschappen. Hij is onderdeel van onderzoeksteam Onderwijs bij KBA Nijmegen, een van de toonaangevende onderzoeksinstituten op het gebied van onderwijs, de overgang van onderwijs naar arbeidsmarkt en de organisatie van arbeid. Ed doet vooral onderzoek binnen de thema’s ICT in onderwijs en passend onderwijs.