Logo

ChatGPT: niet de vraagbaak die je denkt dat het is

24-04-2024

Tijdens workshops over ChatGPT geef ik vaak voorbeelden waarom ChatGPT niet de vraagbaak is die je denkt dat het is.

Het is een enorm handige tool voor heel veel dingen. Maar als het gaat om feitenkennis, dan is het een meester in je om de tuin leiden.

Een verzonnen ISBN-nummer
Neem bijvoorbeeld de volgende vraag: wat is het ISBN-nummer van het eerste Harry Potter-boek? Je krijgt dan een antwoord dat erg goed lijkt. Wanneer je het ISBN-nummer van de Engelse editie opzoekt, dan blijkt die te kloppen. Zoek je het nummer van het Nederlandse boek op… Dan krijg je geen resultaten. Die blijkt gewoon verzonnen te zijn.

Zo’n verzonnen antwoord wordt een hallucinatie genoemd. Het komt niet alleen voor bij ChatGPT. Het kan bij ieder taalmodel voorkomen. Ook het recente Llama3-taalmodel van Meta (van Facebook) is er gevoelig voor.

Ook hier komt een totaal verzonnen ISBN-nummer uit. Vraag je om het ISBN-nummer van het origineel in het Engels, dan klopt het antwoord wel. De grens tussen wat waar is, en wat verzonnen is, is heel lastig vast te stellen.

Op het eerste oog correct
Het laat zien dat ChatGPT, en andere taalmodellen, wel weten hoe een antwoord eruit hoort te zien (“Een ISBN-nummer is een reeks getallen”), maar vaak niet weten wat het echte antwoord is.

Tijdens de trainingsfase is het model waarschijnlijk vaak genoeg het ISBN-nummer van de Engelse versie van het Harry Potter-boek tegengekomen, maar niet vaak genoeg de Nederlandse. Daarom krijg je een deels juist en deels onjuist antwoord.

De betaalde versie van ChatGPT geeft overigens wel het goede antwoord, maar deze is dan ook in staat om het op internet op te zoeken.

Ook de betaalde versie van ChatGPT kan dingen verzinnen
Dat betekent niet dat die betaalde versie altijd kloppende antwoorden geeft. Een ander voorbeeld. Ik woon in Heino, en die plaatsnaam is gelijk aan de naam van de Duitse zanger Heino. Het zou leuk zijn te weten of er meer zangers zijn, die dezelfde naam als een Nederlandse plaatsnaam hebben. Laten we het ChatGPT vragen.

Het eerste antwoord: so far, so good. America ligt inderdaad in Limburg. Maar dan nummer twee: schijnbaar ligt in Overijssel de plaats Venetië. Bij mijn weten is dat niet zo, maar er is wel iets wat er heel erg op lijkt: Giethoorn!

Want zoek je op Venetië in Overijssel, dan vind je allemaal resultaten waarin Giethoorn als het Venetië van Overijssel wordt omschreven. Hier wordt ChatGPT (dit is overigens GPT-4, het beste taalmodel) dus gefopt door het feit dat het geen onderscheid kan maken tussen een bijnaam voor een plaats, en de daadwerkelijke plaatsnaam.

Woorden die mooi bij elkaar passen
Het taalmodel zal tijdens de training vaak het woord Venetië, Giethoorn, plaats en Overijssel bij elkaar hebben zien staan, en heeft daarom aangenomen dat Venetië ook een plaats in Overijssel is. De teksten, die je antwoord krijgt, zijn namelijk een reeks woorden waarvan het taalmodel denkt dat ze bij elkaar horen. Omdat die woorden vaak samen voorkomen in de teksten waarop het algoritme is getraind.

Wat kun je hiervan meenemen?
Je kunt ChatGPT voor heel veel dingen gebruiken. In het bijzonder voor het werken met teksten. Herschrijven, samenvatten, mooier maken, vragen over teksten stellen. En ik kan nog tientallen toepassingen bedenken.

Maar vertrouw (nog) niet op de feitenkennis van deze systemen, zolang je er zelf geen feiten in stopt. Je krijgt vaak een mix van feiten en verzinsels gepresenteerd als de waarheid.

Ontdek de kracht van A.I.

Ben jij zoekend wat A.I., zoals ChatGPT, betekent voor jouw organisatie? Met mijn workshops en presentaties maak ik AI makkelijk te begrijpen en te gebruiken.

Bekijk mijn aanbod
Michel Brinkhuis
Over mij
Lees meer over mij

Over mij

Michel Brinkhuis

Ik ben Michel Brinkhuis. Al jaren hou ik me bezig met technologie, vooral met kunstmatige intelligentie, ofwel AI. Ik ben afgestudeerd op het opsporen van fraude met AI. Na ervaring op te hebben gedaan bij een groot softwarebedrijf, ben ik voor mezelf begonnen. Als ondernemer maak ik nu diensten waarbij AI een grote rol speelt. Met de kennis die ik zo opdoe, help ik daarnaast bedrijven om zelf AI te gaan gebruiken.

Ik geloof dat AI-tools zoals ChatGPT veel werk anders gaan maken. Misschien zie je dat nu nog niet, maar de mogelijkheden zijn groot. Wil je weten hoe AI jouw werk kan veranderen? Of hoe ChatGPT jou kan helpen? Ik laat het je graag zien. Met een workshop of presentatie help ik je op weg.

Stuur een bericht via mijn LinkedIn of vul het formulier onderaan de hoofdpagina in, en ik neem snel contact met je op.