Satellietbeelden analyseren met ChatGPT

08-08-2023

Kun je op een satellietfoto van de Rotterdamse haven ChatGPT het aantal olietanks laten tellen? Dat blijkt heel makkelijk te kunnen, en ook het resultaat is zeer aardig. In deze blogpost leg ik uit hoe ik dat deed, en ga ik ook in op de gevolgen van deze ontwikkeling. Want concepten als computer vision en machine learning zijn hierdoor niet meer bereikbaar voor alleen experts, maar voor iedereen.

Sinds kort kent ChatGPT een functie genaamd ‘Code Interpreter’. De naam is niet veelzeggend, maar het komt erop neer dat je bestanden kunt uploaden, en dat ChatGPT code kan schrijven om iets met die bestanden te doen en vervolgens kan het die code ook uitvoeren. Dus je kunt een foto uploaden, een vraag stellen over die foto en ChatGPT doet dan een analyse en komt met een antwoord. Uiteraard zijn er veel meer mogelijkheden, maar dit is even een relevant voorbeeld voor deze blogpost.

Heb je geen zin deze blogpost te lezen? Je kunt ook een korte video bekijken waarin ik laat zien hoe dit werkt.

Herken witte opslagtanks op een luchtfoto
Het voorbeeld is geïnspireerd op een uitzending van Planet Finance (VPRO), waarin een dronefotograaf te zien is die foto’s van opslagtanks maakt, zodat vervolgens aan de hand van die foto’s een olievoorraad bepaald kan worden. Die analyses gaan wat verder, omdat daar aan de hand van de hoogte van het dak van de tank en de schaduw die erop valt, wordt bepaald hoeveel olie erin zit. Dat kan een vervolgexperiment zijn op deze blogpost :)

Mijn uitdaging is heel eenvoudig: ik maak een screenshot van Google Maps van een stukje van de Rotterdamse haven waarop olie-opslagtanks te zien zijn. Ik zet een rood vierkant om één zo’n tank, en upload die foto in ChatGPT. Daarbij vraag ik om alle olietanks te herkennen, en leg ik uit dat er één rood omcirkeld is. Vervolgens gaat ChatGPT aan de slag, en komt er een redelijk resultaat uit. Zoals je op de foto hieronder ziet, heeft het de linkerkant goed herkend maar in het rechterdeel van de foto zijn niet alle opslagtanks herkend.

De afbeelding die ik als invoer gebruik

Het stappenplan dat ChatGPT bedenkt op basis van mijn afbeelding

Het bijzondere hieraan is dat ChatGPT allerlei technieken inzet om tot dit resultaat te komen. Het gebruikt computer vision om afbeeldingen te manipuleren, weet dat het morfologische operaties kan uitvoeren en nog veel meer. En het mooie is: ik kan gewoon teksten typen om feedback te geven op het resultaat. Zelf hoef ik niet te weten wat morfologische operaties zijn.

De rode cirkels zijn steeds getekend door ChatGPT, en geven een olie-opslagtank weer. In het resultaat is te zien dat in eerste instantie niet alle tanks worden herkend. Ik leg uit aan ChatGPT wat er aan schort: namelijk dat ik in een tussenstand zag dat aan de rechterkant allemaal kleine cirkeltjes op één tank werden getekend. Op zich goed, alleen moest dat één grote cirkel zijn in plaats van allemaal kleine cirkels.

Het antwoord van ChatGPT: “Ik begrijp het probleem. De tanks aan de rechterkant zijn waarschijnlijk niet volledig gesloten in de binaire afbeelding, waardoor ze als meerdere kleinere objecten worden herkend. Een mogelijke oplossing is om een "close" morfologische operatie uit te voeren (een dilate gevolgd door een erode) om deze gaten te dichten voordat we de contouren detecteren. Hierdoor worden de tanks aan de rechterkant mogelijk als één geheel herkend.”

Vervolgens voert ChatGPT dit door, en komt tot onderstaand eindresultaat.

Nu dit goed werkt, kunnen we een poging doen met een nieuwe foto waarin niets rood is omkaderd. Als dit goed werkt, dan heeft ChatGPT dus een algoritme gemaakt waarmee het olie-opslagtanks kan herkennen op een luchtfoto. Ook dat gaat goed. Weliswaar worden een paar dingen als tank herkend die dat niet zijn, maar resultaat is best prima. Met nog meer chatopdrachten kan het resultaat nog verder worden verfijnd.

Technologie wordt heel toegankelijk
We hebben nu slechts met enkele zinnen ChatGPT een workflow laten een specifieke beeldherkenningstaak uit te voeren. Dit laat zien dat je heel makkelijk beelden kunt analyseren met ChatGPT. Dat ingewikkelde machine learning-technieken, zoals computer vision, toegankelijk zijn door gewoon tegen een chatbot te praten.

Want waar je voorheen voor een experiment als dit een expert op dit gebied nodig had, wordt het nu wel heel laagdrempelig. Dit maakt het voor veel bedrijven toegankelijker om experimenten te doen met dergelijke analyses.

Waar zaken als machine learning en computer vision voorheen onbereikbaar leken door de complexiteit, wordt het nu via een chat-interface heel laagdrempelig ontsloten waardoor veel meer mensen ermee kunnen werken. Het enige dat nodig is, is kennis van de beperkingen van Code Interpreter en uiteraard inspiratie en creativiteit om een aanvliegroute voor je vraagstuk te bedenken.

De rol van AI in jouw organisatie
In deze blogpost laat ik een voorbeeld zien van wat je met ChatGPT kan. Het kan namelijk veel meer dan alleen teksten schrijven. Als je het op de juiste manier inzet is het enorm krachtig, en kan het veel (ingewikkelde) taken voor je uitvoeren. Ik geef organisaties inzicht in de mogelijkheden van deze ontwikkelingen. Lees wat ik voor je kan betekenen.