ChatGPT kan niet worden gebruikt als diagnostisch hulpmiddel in de geneeskunde omdat het in meer dan de helft van de gevallen onjuist is, concluderen Canadese wetenschappers van de University of Western Ontario na het testen van het model op patiëntencasussen. Wel is ChatGPT in staat om leesbare reacties te genereren.
ChatGPT geeft geen feitelijke diagnoses “ondanks de uitgebreide informatie waarop het is getraind” en gaf slechts in 49 procent van de gevallen de juiste antwoorden, aldus de wetenschappers van de Schulich School of Medicine & Dentistry aan de University of Western Ontario (Western University). De resultaten zijn onlangs gepubliceerd in het tijdschrift PLOS One, waarin het nut van ChatGPT voor medische diagnoses werd onderzocht.
De medische vaardigheden van ChatGPT werden getest op 150 gevallen, gedownload uit de openbare Medscape-database, die onder andere wordt gebruikt om de diagnostische vaardigheden van artsen te controleren. De tests werden uitgevoerd tussen september 2021 en januari 2023. Slechts in 74 gevallen (49%) was de diagnose van de kunstmatige intelligentie accuraat. “ChatGPT heeft moeite met het interpreteren van laboratorium- en beeldvormingsresultaten en miste enkele belangrijke informatie die cruciaal is voor de diagnose,” schreven de auteurs van “Evaluatie van ChatGPT als diagnostisch hulpmiddel voor medische studenten en artsen.”
Vertrouw AI niet blindelings
“We zullen intensief toezicht nodig hebben op de manier waarop het wordt gebruikt om de patiëntveiligheid te garanderen en om ervoor te zorgen dat dit soort AI-technologie zorgvuldig wordt ingezet,” zegt dr. Amrit Kirpalani, geciteerd op de website van de University of Western Ontario, professor aan de Schulich School of Medicine & Dentistry en co-auteur van de studie. Hij voegde eraan toe dat het gebruik van online beschikbare gegevens gepaard moet gaan met controle op juistheid, gebaseerd op wetenschappelijk onderzoek dat door andere onderzoekers is geverifieerd, en met het ontwikkelen van vaardigheden om met AI-modellen te communiceren.
Onderzoekers hebben de oorzaken van onjuiste antwoorden geïdentificeerd, die verband houden met de manier waarop grote taalmodellen worden gecreëerd. “Het is noodzakelijk om rekening te houden met het fenomeen van AI-hallucinaties, omdat deze een aanzienlijke invloed kunnen hebben op de nauwkeurigheid van de verstrekte informatie. Hallucinaties verwijzen naar reacties geproduceerd door het AI-model die coherent lijken maar niet gebaseerd zijn op feitelijke informatie. Deze kunnen voortkomen uit weglatingen, fouten of overoptimalisatie van de gegevens waarop het model is getraind, of door het onvermogen om dubbelzinnige of onvolledige invoergegevens correct te herkennen.”
Fouten in de diagnose kunnen ook het gevolg zijn van vooroordelen en fouten van artsen zelf, vervat in de medische informatie die voor de opleiding wordt gebruikt. “Het belang van menselijk toezicht kan niet worden overschat,” benadrukten de auteurs, waarbij ze ook de aandacht vestigden op de noodzaak om verantwoordelijkheid vast te stellen voor mogelijke fouten die voortvloeien uit het gebruik van AI-modellen.
Onderzoekers van de University of Western Ontario wezen echter ook op de mogelijkheid om ChatGPT als ondersteunend hulpmiddel te gebruiken.
Ondanks alle tekortkomingen van ChatGPT die het als diagnosticus diskwalificeren, gaf het model in de meeste gevallen correcte beoordelingen, met uitzondering van enkele differentiële diagnoses, en stelde het correct verdere stappen voor bij het stellen van een diagnose. Bovendien, hoewel slechts 49 procent van de diagnoses accuraat waren, was het vermogen om onjuiste antwoordopties af te wijzen veel hoger: het bedroeg 74,33%.
