Healthcare & Bugs. Forschende der Uni Mainz haben eine Schwachstelle gängiger KI-Modelle beim Einsatz in der Diagnostik gefunden.
KI-Modelle werden auch in der Medizin immer häufiger eingesetzt, unter anderem in der Diagnostik. Nun haben Forschende der Universitätsmedizin Mainz und des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit der TU Dresden aber eine potenzielle Schwachstelle populärer KI-Modelle bei der Auswertung medizinischer Bilddaten identifiziert.
Ihre Studie zeigt, dass integrierte Textinformationen in medizinischen Bildern das Urteilsvermögen von KI-Modellen negativ beeinflussen können, heißt es in einer Aussendung. Vor allem sogenannte „Prompt Injections“, also hinzugefügte Texte wie handschriftliche Notizen oder Wasserzeichen, führen dazu, dass die Modelle ihre diagnostischen Fähigkeiten verlieren.
Kommerzielle Modelle besonders anfällig
Die Untersuchung wurde an gängigen Bildsprachmodellen wie Claude und GPT-4o durchgeführt. Dabei zeigte sich, dass die Modelle bei korrekten Beschriftungen zuverlässig arbeiteten, bei irreführenden oder falschen Texten jedoch die Genauigkeit der Antworten erheblich gesunken ist. Kommerzielle KI-Modelle, die an Text- und Bildinformationen gleichzeitig trainiert wurden, erwiesen sich als besonders anfällig für diese Art von Störungen.
Die Ergebnisse seien vor allem für die pathologische Routinediagnostik relevant, da dort häufig Markierungen oder Notizen direkt auf Gewebeschnitten angebracht werden. Die Forscherinnen und Forscher haben herausgefunden, dass KI-Modelle dazu neigen, diesen sichtbaren Texten zu viel Bedeutung beizumessen – und zwar unabhängig davon, ob sie korrekt oder irreführend sind. Dadurch bestehe das Risiko, dass wichtige medizinische Befunde übersehen werden.
Überprüfungen nötig
Die Studie hebt hervor, dass KI-generierte Ergebnisse stets von medizinischen Expertinnen und Experten überprüft und validiert werden müssen, bevor sie in der klinischen Praxis Anwendung finden. Nur auf diese Weise ließe sich die Patientensicherheit gewährleisten. Allerdings könnte die Entwicklung speziell trainierter KI-Modelle die Fehleranfälligkeit in Zukunft verringern. Das Team der Universitätsmedizin Mainz arbeitet derzeit an einem spezifischen „Pathology Foundation Model“, das gezielt für pathologische Daten entwickelt wird.