Was beim Einsatz von KI-Agenten rechtlich zu beachten ist

Interview. KI-Agenten können eigenständig Aufgaben übernehmen. Doch bei deren Einsatz gibt es strenge Auflagen seitens DSGVO und AI Act, warnt Baker McKenzie-Partner Lukas Feller.

Extrajournal.Net: KI-Agenten werden zunehmend in die geschäftliche Praxis eingebunden – welche rechtlichen Vorschriften gilt es da zu beachten?

Lukas Feiler: Unternehmen haben bei der Nutzung von KI-Agenten insbesondere die DSGVO und den AI Act zu beachten. Nach der DSGVO besteht grundsätzlich ein Verbot automatisierter Einzelentscheidungen, die gegenüber Betroffenen rechtliche Wirkungen entfalten oder diese auf ähnlich erhebliche Weise beinträchtigen. Von diesem für die Praxis sehr weitreichendem Verbot bestehen nur drei Ausnahmen: Erstens die ausdrückliche Einwilligung der betroffenen Person, zweitens eine gesetzliche Berechtigung zur Automatisierung der Entscheidung und drittens die Notwendigkeit der automatisierten Entscheidung für den Abschluss oder die Erfüllung eines Vertrages mit der betroffenen Person.

Folglich ist ein von einem Unternehmen eingesetzter KI-Agent, der personenbezogene Daten verarbeitet und automatisierte Entscheidungen im Sinne der DSGVO trifft, nur dann zulässig, wenn eine der vorgenannten Ausnahmetatbestände vorliegt. Zudem müssen – selbst, wenn eine der drei Ausnahmen anwendbar ist – weitere Anforderungen erfüllt werden: Insbesondere muss die Entscheidungslogik in verständlicher Form offengelegt werden und ist auf Antrag einer von der Entscheidung betroffenen Person eine menschliche Überprüfung durchzuführen.

Die Frage der Hochrisiko-Systeme

Es gibt ja sogenannte Hochrisiko-Systeme. Was ist da zu beachten?

Lukas Feiler: Nach dem AI Act gelten besonders hohe Anforderungen für jene KI-Agenten, die als Hochrisiko-KI-Systeme nach dem AI Act zu qualifizieren sind. Unternehmen, die solche Agenten einsetzen – sogenannte Betreiber – haben insbesondere die Pflicht, durch Einrichtung eines Risikomanagementsystems die Risiken der KI-Agenten aktiv zu überwachen und diesen entgegenzuwirken sowie eine menschliche Aufsicht über den Hochrisiko-KI-Agenten sicherzustellen.

Hersteller solcher KI-Agenten – das sind dann sogenannte Anbieter – müssen umfassende Risiko- und Qualitätsmanagementsysteme implementieren und haben hohe Anforderungen im Hinblick auf Datenqualität, Genauigkeit, Robustheit und Cybersicherheit erfüllen. Nur bei Einhaltung aller Anforderungen darf das System mit einem CE-Zeichen in Verkehr gebracht werden.

Den Einsatz von KI-Agenten richtig vorbereiten

Wie können Unternehmen also zunächst den rechtlichen Rahmen schaffen, bevor sie KI-Agenten einsetzen?

Lukas Feiler: Um die Zulässigkeit der Nutzung von KI-Agenten durch das Unternehmen sicherzustellen, ist zunächst zu prüfen, ob eine Einwilligung der betroffenen Personen nach der DSGVO eingeholt werden muss. Das ist der Fall, wenn die Heranziehung des KI-Agenten nicht für einen Vertragsabschluss oder die Vertragserfüllung notwendig ist und auch keine rechtliche Grundlage für die Automatisierung der Entscheidung in Form der Nutzung des KI-Agenten besteht. Darüber hinaus müssen Unternehmen prüfen, welche rechtlichen Pflichten nach dem AI Act für die Entwicklung oder den Einsatz des konkreten KI-Agenten einzuhalten sind.

Neben der Frage der Rolle des Unternehmen als Anbieter oder Betreiber des KI-Systems haben Unternehmen hierfür vor allem auch zu prüfen, welche Risikoklasse dem KI-Agenten nach dem AI Act zukommt. Entscheidend für die Risikoklassifizierung wird regelmäßig der Zweck des jeweiligen KI-Agenten sein. Ein besonderes Augenmerk wird dabei auf jene Zwecke zu legen sein, die nach dem AI Act zu einer Qualifizierung als per se verbotenes KI-System oder als Hochrisiko-KI-System führen.

In welchen Bereichen ist der Einsatz von KI generell heikel? Ich denke da etwa an HR.

Lukas Feiler: Generell ist der Einsatz von KI und somit auch von KI-Agenten besonders heikel in Bereichen, die nach dem AI Act als hochriskant angesehen werden, weil für Hochrisiko-KI-Systeme die weitreichendsten Pflichten gelten. KI-Agenten werden der besonders umfangreichen Regulierung des AI Acts für solche Systeme insbesondere dann unterliegen, wenn KI-Agenten Entscheidungen im Bereich des Personalmanagement treffen, beispielsweise die Einstellung, Beförderung, Kündigung von Mitarbeitenden sowie die Aufgabenverteilung an Mitarbeitende aufgrund persönlicher Eigenschaften.

In bestimmten Bereichen ist der Einsatz von KI nicht bloß heikel, sondern nach dem AI Act per se verboten. Das ist etwa der Fall bei KI-Systemen, die der Ableitung von Emotionen am Arbeitsplatz dienen oder die darauf abzielen, durch manipulative Techniken das Verhalten von Personen wesentlich zu beeinflussen.

Potenzial für Qualitätssicherung

Zuletzt noch eine Frage zur wirtschaftlichen Bedeutung: KI-Agenten versprechen Kostensenkung. Ist der reine Fokus auf Kosten nicht etwas kurzsichtig?

Lukas Feiler: Vielen Unternehmen geht es bei der Nutzung von KI-Agenten ja nicht bloß um die Kostensenkung, sondern auch um die Qualitätssicherung. Das gilt besonders in Bereichen, die mit überwiegender Mehrheit standardisiert auf Grundlage vordefinierter, klarer Voraussetzungen abgearbeitet werden können. Zudem kann das Personal eines Unternehmens an anderer, für Unternehmen und Personal interessanterer Stelle eingesetzt werden – und zwar weil die Tätigkeit des Personals in gewissen Bereichen auf die Überprüfung der Entscheidung der KI-Agenten und das Vorliegen besonderer zu berücksichtigender Umstände beschränkt werden kann.

Im Interview

Rechtsanwalt und Partner Dr. Lukas Feiler, SSCP, CIPP/E leitet das IP-/IT-Team bei Baker McKenzie in Wien. Er ist Experte für KI- und Datenschutzrecht und Autor des ersten österreichischen Kommentars zur DSGVO.