K(eine) I(ntelligenz). Sprachmodelle, die auf KI basieren, antworten auf viele Fragen, liefern aber nicht immer korrekte Antworten. Deutsche Forscher haben ein System zur Bewertung der Vertrauenswürdigkeit entwickelt.
KI ist in aller Munde – doch nur zu oft steht die Abkürzung für K(eine) I(ntelligenz), sagen manche scherzhaft. Spaß beiseite: Für Nutzer wäre es zweifellos hilfreich, die Vertrauenswürdigkeit eines KI-Systems einschätzen zu können. Ein gemeinsames Team der Ruhr-Universität Bochum und der TU Dortmund hat nun 6 Kriterien entwickelt, um die Vertrauenswürdigkeit von Systemen zu bewerten. Diese Kriterien gelten für verschiedene Systeme, etwa Personen, Institutionen, Maschinen oder KI-Anwendungen.
Der Hintergrund: Deep Learning-Systeme zeigen beeindruckende Leistungen etwa im Schach, doch ihre inneren Abläufe sind für Menschen schwer nachvollziehbar. Das führt zu einem grundlegenden Vertrauensproblem. Außerdem können Daten, mit denen KI-Systeme trainiert werden, Vorurteile enthalten, die unbewusst verstärkt werden. Dies ist etwa problematisch, wenn KI bei Bewerberauswahl zum Einsatz kommt.
Profil aus 6 Dimensionen
Die Forscher beschreiben diese Kriterien in einem internationalen Fachjournal der Philosophie. Dabei ist Vertrauenswürdigkeit kein einfacher Ja-oder-Nein-Wert, sondern ein Profil aus 6 Dimensionen:
- Die erste Dimension ist die objektive Funktionalität, also wie gut das System seine Kernaufgaben erfüllt und ob die Qualität überprüft wird.
- Die zweite Dimension bezieht sich auf die Transparenz der Systemprozesse.
- Drittens: die Unsicherheit bei den zugrundeliegenden Daten und Modellen und wie gesichert sie gegen Missbrauch sind.
- Viertens geht es darum, ob es sich um ein verkörpertes oder rein virtuelles System handelt.
- Die fünfte Dimension nennt sich Unmittelbarkeit, also wie unmittelbar der Austausch mit dem System erfolgt.
- Und schließlich untersucht die sechste Dimension, inwieweit das System eine Verpflichtung gegenüber dem Nutzer eingehen kann.
Die Forscher sehen bei aktuellen KI-Systemen wie ChatGPT oder autonomen Fahrzeugen in den meisten dieser Kriterien noch deutliche Defizite. Daraus lässt sich ableiten, wo künftig Verbesserungen notwendig sind, um eine verlässlichere Vertrauenswürdigkeit zu erreichen. Aus technischer Sicht sind vor allem Transparenz und die Unsicherheit bei Daten und Modellen entscheidend für das Vertrauen; aus philosophischer Perspektive kritisieren die Forscher, dass KI-Systeme oft Antworten generieren, die klug klingen, aber nicht immer wahr sind. Diese halluzinierenden Inhalte werden nicht ausreichend als solche gekennzeichnet.
Chatbots können problematisch sein
Die Entwicklung von Chatbots als Ersatz für menschliche Kommunikation wird ebenfalls kritisch gesehen. Ein solcher Chatbot könne keine echte Verpflichtung gegenüber Menschen eingehen und das Vertrauen von Nutzern sei deshalb problematisch. Die Forscher warnen vor einer unreflektierten Erwartung an die Verlässlichkeit solcher Systeme.
Carina Newen, eine Autorin der Studie (die anderen sind Emmanuel Müller und Albert Newen), promovierte als erste Doktorandin am Research Center Trustworthy Data Science and Security des Ruhr Innovation Labs, einem gemeinsamen Exzellenzcluster von Ruhr-Universität Bochum und TU Dortmund.
