Immer mehr Studien widmen sich den Erfolgen künstlicher Intelligenz bei der Interpretation von medizinischen Daten und der Erteilung von Ratschlägen. Dabei scheint der beliebte Chatbot ChatGPT allerdings mindestens einen blinden Fleck zu haben: die Urologie.
In der weltweit ersten Studie, die die Genauigkeit von ChatGPT bei der Beantwortung medizinischer Fragen im Bereich der Urologie untersuchte, blieb der Chatbot weit hinter den klinischen Standards zurück. Die Forschenden der University of Florida, USA, stellten ChatGPT dreimal einen Satz von 13 leitlinienbasierten Fragen zur urologischen Versorgung. Die Antworten wurden anhand des validierten Fragebogens Brief DISCERN (BD) geprüft.
ChatGPT scheitert an der Urologie
Nur 60 % der vom ChatGPT gegebenen Antworten wurden als angemessen erachtet und auch die Antworten auf ein und dieselbe Frage variierte. Der durchschnittliche BD-Wert betrug 16,8. Ein BD-Wert von 16 kennzeichnet eine gute Qualität des Inhalts. Diesen erreichten insgesamt nur 7 von 13 Themen (54 %) und 21 von 39 Antworten (54 %). Die niedrigsten BD-Werte wurden für die Kategorie „Quelle“ erzielt, da ChatGPT standardmäßig keine Referenzen angibt. Auch nach Aufforderung wiesen 92,3 % der Antworten mindestens ein falsches, falsch interpretiertes oder nicht funktionierendes Zitat auf.
„Während ChatGPT in mehr als der Hälfte der Fälle angemessene Antworten auf urologische Fragen liefert, interpretiert es klinische Versorgungsrichtlinien falsch, lässt wichtige Kontextinformationen außer Acht, verbirgt seine Quellen und liefert unangemessene Referenzen“, so die Schlussfolgerung der Forschenden. Chatbots seien vielversprechend, aber aktuell noch mit Vorsicht zu genießen. Mit mehr Training und Modifikationen könnte die künstliche Intelligenz allerdings zukünftig zuverlässig von Patienten und medizinischem Personal eingesetzt werden.
Originalpublikation: Whiles BB et al. Caution! AI Bot Has Entered the Patient Chat: ChatGPT Has Limitations in Providing Accurate Urologic Healthcare Advice. Urology 2023; S00090-4295(23)00597
Quelle: McKnights Senior Livin (>> zur Pressemitteilung in Englischer Sprache)