Zürich. Die Schweizer IT-Sicherheitsfirma Lakera lässt über eine Plattform Schwachstellen in KI-Systemen finden – auch in Legal AI.
Rechtsbezogene KI etabliert sich zunehmend in juristischen Workflows – dabei ist vor allem die Anonymisierung ein Kernpunkt, um Abläufe sicher zu halten. Gleichzeitig entstehen potenziell aber auch neue Sicherheitsrisiken, es geht schließlich um Datenschutz und Vertraulichkeit.
Halten die Systeme, was sie in Sachen Sicherheit versprechen? Damit beschäftigt sich so genanntes Legal AI Hacking – darunter versteht man gezielte Angriffe auf rechtsbezogene KI-Systeme. Ein häufig verwendetes Angriffsmuster sind sogenannte Prompt Injections – das gezielte Einschleusen von manipulierten Textbausteinen. Ein Angreifer kann beispielsweise präparierte Texte in öffentlich zugängliche Dokumente, etwa Gerichtsanträge, platzieren.
Verarbeitet eine juristische KI solche Daten, können sie theoretisch dazu genutzt werden, geheime Informationen wie Zeugennamen zu offenbaren, die eigentlich anonym bleiben sollten. Es ist Aufgabe der IT-Sicherheitsexpert:innen, solche Schwachstellen zu finden und nach Möglichkeit den Missbrauch zu verhindern.
Gandalf sucht Sicherheitslücken
Das Schweizer Sicherheitsunternehmen Lakera, das im September vom israelischen Security-Spezialisten CheckPoint übernommen wurde, hat mit Gandalf bereits vor zwei Jahren eine Plattform entwickelt, um solche und ähnliche Schwachstellen in KI-Systemen aufzudecken. Die Anwendung funktioniert wie ein Online-Spiel: Nutzer müssen versuchen, ein System dazu zu bringen, geschützte Informationen preiszugeben, beispielsweise ein Passwort.
Auf den ersten Ebenen antwortet das System noch offen und verrät das Passwort her; mit jedem weiteren Level lernt die KI allerdings und wird schwerer zu überlisten. Das Spiel verfügt über mehrere Level; Gandalf basiert teilweise auf Elementen des KI-Textgenerators ChatGPT und verarbeitet große Mengen an natürlicher Sprache, was das System grundsätzlich schwerer zu täuschen macht.
Namen von Zeugen finden
Nun gibt es eine spezielle juristische KI-Anwendung auf der Gandalf-Plattform namens „Clause AI“ – dabei soll versucht werden, die Namen von Zeugen ausfindig zu machen. Konkret sollen diese Namen per Mail zugesendet werden (für reale Hackerattacken ein unheimlicher Gedanke). In Hacker-Simulationen wird in den meisten Fällen wie bei einem Hackathon vorgegangen: Ein Team versucht ein System zu verteidigen, während ein anderes Team parallel in das System eindringen möchte.
Beide Seiten lernen dabei permanent – die Verteidiger reagieren auf Angriffsmethoden, während die Angreifer ständig neue Wege suchen, um geheime Daten herauszubekommen oder Zugänge zu überwinden. Gandalf selbst erhebt keine personenbezogenen Daten; Lakera nutzt allerdings die anonymisierten Fragen und Eingaben der Spieler, um für seine Kunden die KI hinter dem System zu verbessern.
Täglich aktuell über Neues informiert werden:
Zu diesem Thema:
