AI in de klas: dat kent zeker risico's

08-05-2024

Scholieren en studenten gebruiken volop ChatGPT. Docenten ook, om bijvoorbeeld lesmateriaal te ontwikkelen. AI is daarmee niet weg te denken uit het onderwijs, ondanks dat de gangbare tools als ChatGPT nog geen twee jaar beschikbaar zijn. De snelle opkomst van AI brengt echter risico’s met zich mee. In deze blog deel ik een drietal observaties hierover, op basis van gesprekken met studenten en docenten tijdens workshops en eigen ervaringen.

Geen zin om het hele artikel te lezen? Dit zijn de drie hoofdpunten:

• AI verzint bronnenlijsten alsof ze echt zijn, maar dan zonder bestaande bronnen
• Je kunt als docent niet vertrouwen op tools die AI beweren te herkennen
• Er zijn Nederlandse AI-tools waarmee je voor examens zou kunnen oefenen, maar die geven foute antwoorden zonder dat te benoemen

 

Alle drie deze punten onderstrepen de noodzaak dat leerlingen weten wat de mogelijkheden zijn van AI, maar ook wat de beperkingen zijn. Daarvoor is het nodig dat beter bekend is hoe deze tools werken. Bijvoorbeeld, door te weten dat je er voor feiten niet op kunt vertrouwen.

Een uit de duim gezogen bronnenlijst
Onlangs gaf ik een AI-workshop voor een groep studenten. Eén van de vragen die tijdens de workshop voorbij kwam is: kun je ChatGPT gebruiken om APA-bronnen te krijgen ter ondersteuning van je stellingen?

Het antwoord is: ja en nee. Als je ChatGPT erom vraagt, krijg je zeker een bronnenlijst. En ook netjes opgemaakt conform APA. Want dat is iets waar zo’n tool sterk in is: teksten vormgeven in een gevraagde stijl. Inhoudelijk wordt het een ander verhaal. Want ChatGPT heeft geen oneindige bronnenlijst tot z’n beschikking. Het weet voornamelijk hoe bronnen eruit zien, en gaat je dat antwoorden.

Kijk maar eens naar onderstaand antwoord dat eruit kwam. Het ziet er op het oog betrouwbaar uit. Ga je Googlen, dan vind je echter geen resultaten voor het boek “Understanding business legislation in Germany.”. Gewoon een verzonnen resultaat dus - iets dat ChatGPT wel netjes aangeeft, overigens.

Mijn stelling: wil je als docent weten of studenten ChatGPT gebruiken? Check dan eens een paar bronnen op de bronnenlijst. Beter is natuurlijk te voorkomen dat dit überhaupt gebeurt. Niet door ChatGPT en andere AI-diensten te verbieden, maar door studenten bekend te maken met de werking. Zodat ze zelf de inschatting kunnen maken waarvoor je het wél, en waarvoor je het níet kunt gebruiken.

De oplossing: tools die AI-gebruik kunnen herkennen

Wil je als docent weten of studenten in verslagen gebruikmaken van ChatGPT? Dan zijn er allerlei “detectors” die beweren te kunnen herkennen of een tekst door AI is geschreven. Echter, zijn die wel zo betrouwbaar?

Onderzoek wijst uit dat je daar niet echt van op aan kunt. Neem volgend citaat uit dit onderzoek: “Testing shows that the AI detectors tested have a mean accuracy rating of only 39.5% when evaluating unmanipulated AI-generated content. Importantly, regarding the human-written control samples, only 67% of the tests were accurate, leading to significant concerns regarding the potential for false accusations from these tools.”

Je blijkt dus zo’n 40 procent van de AI-teksten hiermee te kunnen herkennen, en maar 67% van de echt door mensen geschreven teksten zijn herkend als zodanig. Het levert dus een aanzienlijke kans op dat je met zo’n tool iemand onterecht verdenkt van het laten schrijven van teksten via AI.

Daarnaast blijkt uit ander onderzoek dat docenten dit zelf ook niet goed kunnen herkennen. Nog een citaat uit een onderzoek: “In summary, the finding that teachers cannot differentiate between student-written texts and AI-generated texts underscores the need for a thoughtful and ethical integration of AI in education.”. En daar kan ik het alleen maar mee eens zijn.

Tijdens de workshop vroeg ik of hier tijdens de studie ook aandacht aan wordt gegeven (hoe je AI-tools op de juiste manier inzet, en wat de beperkingen zijn) bleek dat niet zo te zijn. Dat kan natuurlijk per opleiding en onderwijsinstelling verschillen, is wel de disclaimer die ik erbij moet plaatsen.

Minder goed scoren op je examen, dankzij AI?

Deze week kwam ik een Nederlandse tool tegen waarmee vmbo-, havo- en vwo-scholieren kunnen oefenen voor hun eindexamens. Het idee lijkt eenvoudig: je kiest een vak, voert in wat je vraag is en je kunt zelfs een afbeelding van een opgave toevoegen. De AI geeft vervolgens uitleg.

De vraag is alleen of de huidige AI-techniek, gebaseerd op LLM, hier wel geschikt voor is. Zoals ik in een vorige blogpost liet zien kun je een AI beter niet gebruiken voor feiten. Dus als ik vraag om een lijstje met de grootste steden van Nederland met bron, dan krijg ik een verwijzing naar het CBS en een lijst van steden. Maar die komt niet helemaal overeen met de werkelijke lijst.

Een ander voorbeeld is een vraag stellen uit een examen Nederlands, en kijken welk antwoord er komt. Het antwoord dat ik kreeg is onjuist (D, zie hieronder) - dat weet ik, want je kunt dat gewoon controleren in het officiële antwoordendocument (A). Dit is een vraag waarbij je moet redeneren, dus er wordt niet naar feiten gevraagd.

De huidige AI-modellen kunnen wel redeneren, maar echt nog niet zo goed als een mens. Alleen, dat weet die AI niet. Dus die presenteert een antwoord en redenatie alsof het allemaal klopt.

De vraag is dan: helpt zo’n tool je wel? Of verspil je energie, omdat je niet kunt vertrouwen op de uitkomst, en scoren studenten misschien zelfs slechter hierdoor?

Ik kan me voorstellen dat je als onderwijsinstelling leerlingen bewust moet maken van het bestaan van deze tools, en helder moet aangeven waar de beperkingen liggen. En snappen waarom ze wel of niet werken.

Samengevat
Alle drie genoemde onderwerpen in deze blog onderstrepen de noodzaak dat leerlingen moeten weten wat de mogelijkheden zijn van AI, maar ook wat de beperkingen zijn. Daarvoor is het nodig dat beter bekend is hoe deze tools werken. Bijvoorbeeld, door te weten dat je er voor feiten niet op kunt vertrouwen. En het geldt niet alleen voor studenten, maar eigenlijk ook voor docenten: bij het gebruik van deze tools, maar ook bij de beoordeling van het werk van leerlingen.

AI helder uitgelegd

Ben je benieuwd wat AI-tools zoals ChatGPT voor jouw organisatie kunnen betekenen? In mijn workshops en presentaties maak ik het helder en help ik je om AI op een simpele manier te omarmen.

Klik hier en neem contact op