KI-Governance beginnt dort, wo Datenschutz aufhört

Warum Unternehmen beim Einsatz von KI-Agenten weiterdenken müssen

 „Die entscheidende Frage ist künftig nicht mehr, auf welche Daten eine KI zugreifen darf, sondern was sie mit diesen Daten eigenständig tun kann.“

ChatGPT, Claude oder Microsoft Copilot gehören inzwischen in vielen Unternehmen zum Arbeitsalltag. Sie beantworten nicht nur Fragen, sondern koordinieren Termine, erstellen Dokumente, versenden E-Mails oder führen sogar eigenständig ganze Arbeitsabläufe aus. Damit verändert sich nicht nur die Technologie, sondern auch die Anforderungen an Unternehmen.

Datenschutz ist wichtig, beantwortet aber nicht alle Fragen

Bei der Einführung neuer KI-Anwendungen stehen häufig datenschutzrechtliche Fragestellungen im Vordergrund.

Beispielsweise:

• Werden personenbezogene Daten verarbeitet?
• Liegt ein Auftragsverarbeitungsvertrag vor?
• Erfolgt eine Datenübermittlung in Drittländer?
• Ist eine Datenschutz-Folgenabschätzung erforderlich?

Diese Fragen sind wichtig und müssen beantwortet werden. Allein reichen sie künftig jedoch nicht mehr aus.

Was darf die KI mit den ihr zur Verfügung stehenden Daten eigentlich eigenständig tun?

Während der Datenschutz regelt, welche Daten verarbeitet werden dürfen, beschäftigt sich die KI-Governance zunehmend damit, welche Entscheidungen ein KI-System eigenständig treffen darf und wie diese Entscheidungen kontrolliert werden können.

KI-Agenten verändern die Risikolage

Ein klassischer Chatbot reagiert auf eine konkrete Eingabe. Ein KI-Agent kann dagegen je nach Ausgestaltung mehrere Arbeitsschritte selbstständig planen und durchführen.

Dazu gehört beispielsweise,

• Informationen aus verschiedenen Systemen zusammenzuführen,
• Termine zu koordinieren,
• Dokumente zu erstellen,
• E-Mails zu versenden,
• auf weitere Anwendungen zuzugreifen,
• oder Folgeaktionen eigenständig auszulösen.

Je umfangreicher die Berechtigungen eines KI-Agenten sind, desto größer werden auch die Risiken.

Ein Gedanke bringt diesen Unterschied besonders gut auf den Punkt: „Klassische Sicherheitsmechanismen erkennen häufig Angriffe, nicht aber legitime Entscheidungen eines KI-Agenten.“

Ein KI-Agent kann innerhalb weniger Sekunden Handlungen ausführen, die technisch vollständig autorisiert sind und deren Auswirkungen dennoch erheblich sein können. Genau deshalb reicht es künftig nicht mehr aus, lediglich zu prüfen, worauf ein KI-Agent zugreifen darf. Unternehmen müssen sich ebenso fragen, was er mit diesen Berechtigungen eigenständig tun darf.

Human in the Loop ist kein Selbstläufer

Der AI Act fordert insbesondere bei Hochrisiko-KI-Systemen eine wirksame menschliche Aufsicht.

In der Praxis hört man häufig: „Da schaut am Ende ohnehin noch einmal jemand drüber.“

Auch diese Aussage kritisch hinterfragt werden. Denn müssen Mitarbeitende täglich zahlreiche KI-generierte Vorschläge oder Entscheidungen bestätigen, besteht die Gefahr, dass Freigaben zur Routine werden. Die Forschung bezeichnet dieses Phänomen als Automation Bias. Menschen neigen dazu, automatisierten Empfehlungen stärker zu vertrauen als ihrer eigenen Einschätzung. Eine menschliche Kontrolle ist deshalb nur dann wirksam, wenn sie tatsächlich in der Lage ist, Fehler zu erkennen, Entscheidungen kritisch zu hinterfragen und nicht lediglich routinemäßig den „Freigeben“-Button zu bestätigen.

Governance bedeutet mehr als eine KI-Richtlinie

Viele Unternehmen verfügen inzwischen bereits über

• eine KI-Richtlinie,
• Freigabeprozesse,
• Schulungen
• oder erste Regelungen für den Einsatz generativer KI.

Das ist ein wichtiger erster Schritt. Gleichzeitig wurde im Webinar deutlich, dass Governance nicht mit einer Richtlinie endet.

Spätestens beim Einsatz autonomer KI-Agenten sollten Unternehmen deshalb unter anderem folgende Fragen beantworten können:

• Wer trägt die Verantwortung für den KI-Agenten?
• Auf welche Systeme darf er zugreifen?
• Welche Berechtigungen benötigt er tatsächlich?
• Welche Entscheidungen darf er eigenständig treffen?
• Wie werden seine Aktivitäten überwacht?
• Kann sein Handeln jederzeit eingeschränkt oder gestoppt werden?

Datenschutz, Informationssicherheit und KI-Governance gehören zusammen

Während der Datenschutz den Umgang mit personenbezogenen Daten regelt, beschäftigt sich die Informationssicherheit mit dem Schutz von Systemen und Informationen.

Die KI-Governance geht einen Schritt weiter. Sie legt fest,

• welche Aufgaben ein KI-Agent übernehmen darf,
• welche Grenzen gelten,
• wer die Verantwortung trägt,
• und wie sein Handeln überwacht werden kann.

Erst das Zusammenspiel dieser Bereiche ermöglicht einen verantwortungsvollen Einsatz autonom handelnder KI-Systeme.

Was Unternehmen jetzt prüfen sollten

Unternehmen sollten bereits heute unter anderem folgende Fragen beantworten können:

• Sind alle eingesetzten KI-Agenten bekannt und dokumentiert?
• Sind Verantwortlichkeiten für jeden KI-Agenten eindeutig festgelegt?
• Ist definiert, welche Entscheidungen autonom getroffen werden dürfen?
• Funktioniert die menschliche Aufsicht tatsächlich oder werden Entscheidungen nur noch routinemäßig bestätigt?
• Werden Berechtigungen nach dem Grundsatz der Erforderlichkeit vergeben?
• Werden Datenschutz, Informationssicherheit und KI-Governance gemeinsam betrachtet?
• Werden Richtlinien regelmäßig an neue technische Entwicklungen angepasst?

Fazit

Die entscheidende Frage lautet künftig nicht mehr nur, welche Daten eine KI verarbeitet, sondern welche Handlungen sie eigenständig ausführen darf und wie Unternehmen diese Handlungen wirksam kontrollieren können.

Datenschutz bleibt dabei selbstverständlich ein wesentlicher Baustein. Für den verantwortungsvollen Einsatz autonom handelnder KI-Systeme reicht er allein jedoch nicht aus. KI-Governance beginnt dort, wo Datenschutz aufhört, nämlich bei den Entscheidungen und Handlungen einer KI.