Logo
E-mail mij

Chatten met AI, op je eigen computer

24-11-2023

Tijdens workshops over de inzet van AI in een organisatie krijg ik regelmatig de vraag over privacy, vooral als het gaat over ChatGPT. Hoewel een A.I. zoals ChatGPT enorm handig kan zijn, moet je er voorzichtig mee zijn als het gaat om gevoelige gegevens. Denk daarbij aan bedrijfsgegevens of persoonsgegevens.

De risico’s van een Amerikaans model
Je wilt immers niet het risico lopen dat je bijvoorbeeld gevoelige gegevens deelt in een ChatGPT-sessie, en dat een paar maanden later iemand in ChatGPT iets over jouw bedrijf vraagt en het antwoord wordt gevormd op basis van juist die gevoelige informatie.

Er zijn allerlei privacy controls die OpenAI aanbiedt. De vraag is alleen of je daarop wilt vertrouwen. En los van dat, als het gaat om persoonsgegevens, is het belangrijk dat de persoon van wie je gegevens zou delen er ook expliciet toestemming voor heeft gegeven. Je verplaatst immers toch data naar een Amerikaanse softwareleverancier.

Kortom, veel haken en ogen. En juist met deze snelle ontwikkeling, waarbij veel wetgevende kaders ontbreken, is het van belang hier verantwoordelijk en voorzichtig mee om te gaan. Maar moet je dan de hele ontwikkeling aan je voorbij laten gaan?

Niet direct. Er komen namelijk steeds meer open source-taalmodellen. Die kun je op je eigen computer uitvoeren. Zo kun je zelfs zonder internetverbinding de kracht van deze modellen ervaren. En doordat je gegevens dan niet het internet opgaan, kun je ook makkelijker met gevoelige gegevens werken.

Een taalmodel op je eigen computer
Met de applicatie LM Studio, die zowel voor Mac OS als Windows beschikbaar is, krijg je een chat-interface op je computer en kun je in de stijl van ChatGPT heel makkelijk aan de slag. Mocht je nu denken, ik heb een oude computer, dat gaat nooit werken! Probeer het eens. Mijn eigen laptop is al meer dan 5 jaar oud, en ook hierop werkt het uitstekend. Wel goed te weten: de standaard-licentie van LM Studio staat geen commercieel gebruik toe.

Zo gebruik je LM Studio
Met de uitleg hieronder kun je een taalmodel op je eigen computer draaien, en ermee chatten. Allereerst ga je naar www.lmstudio.ai. Daar kun je de applicatie downloaden voor Windows of Mac OS. Na het downloaden kun je het gewoon opstarten.

Op de beginpagina van LM studio zie je een lijst met taalmodellen die je kunt downloaden. Dit zijn door de community geselecteerde modellen. De modellen die gebaseerd zijn op Mistral AI of LLama (van Meta, het bedrijf achter Facebook) behoren tot de beste ‘open source’ modellen. Als je die probeert, dan krijg je waarschijnlijk goede resultaten. Klik op de groene download-knop om er één te downloaden

Het downloaden duurt een paar minuten. Zo’n taalmodel is vaak enkele gigabytes groot. Je kunt kiezen voor een ‘Small & fast’ model als je een langzamere computer hebt, en anders kun je het best kiezen voor het grotere model. Dan krijg je betere resultaten.

Als het downloaden klaar is, dan klik je links op het chat-icoon. In de balk bovenaan kies je voor het model dat je net hebt gedownload. Dat wordt dan ingeladen. En dan kun je aan de slag! Je ziet links een lijst met je chat-gesprekken, en kunt klikken op “New Chat” om een nieuw gesprek te starten.

In het voorbeeld hieronder plak ik wat ongestructureerde data, en vraag ik de A.I. om te structureren. Binnen enkele seconden komt het resultaat op het scherm!

Geavanceerde instellingen
Aan de rechterkant heb je nog een aantal instellingen. Zelf heb ik bijvoorbeeld de Context Overflow Policy ingesteld op “Maintain a rolling window and truncate past messages”. Zo kun je een gesprek voeren waarbij het taalmodel steeds verder redeneert op het laatste deel van het gesprek.

Je kunt er ook voor kiezen om de ‘Context Length’ te verhogen. Dan neemt het taalmodel meer karakters mee bij het komen tot een antwoord. Zo kan ‘ie meer data aan, grotere vragen verwerken en meer context in het antwoord verwerken. Je kunt dat aanpassen aan de rechterkant onder Settings en dan het subkopje ‘Model initialization’.

Ontdek de kracht van A.I.

Ben jij zoekend wat A.I., zoals ChatGPT, betekent voor jouw organisatie? Met mijn workshops en presentaties maak ik AI makkelijk te begrijpen en te gebruiken.

Bekijk mijn aanbod
Michel Brinkhuis
Over mij
Lees meer over mij

Over mij

Michel Brinkhuis

Ik ben Michel Brinkhuis. Al jaren hou ik me bezig met technologie, vooral met kunstmatige intelligentie, ofwel AI. Ik ben afgestudeerd op het opsporen van fraude met AI. Na ervaring op te hebben gedaan bij een groot softwarebedrijf, ben ik voor mezelf begonnen. Als ondernemer maak ik nu diensten waarbij AI een grote rol speelt. Met de kennis die ik zo opdoe, help ik daarnaast bedrijven om zelf AI te gaan gebruiken.

Ik geloof dat AI-tools zoals ChatGPT veel werk anders gaan maken. Misschien zie je dat nu nog niet, maar de mogelijkheden zijn groot. Wil je weten hoe AI jouw werk kan veranderen? Of hoe ChatGPT jou kan helpen? Ik laat het je graag zien. Met een workshop of presentatie help ik je op weg.

Stuur een bericht via mijn LinkedIn of vul het formulier onderaan de hoofdpagina in, en ik neem snel contact met je op.