Künstliche Intelligenz im Unternehmen: rechtliche Risiken und grundlegende Pflichten

Organisationen führen künstliche Intelligenz am häufigsten auf zwei Arten ein: durch die bewusste Anschaffung eines dedizierten KI-Systems oder durch die schrittweise Hinzufügung von KI-Funktionen zu bereits genutzten Tools wie Office-Suiten, Dokumentenmanagementsystemen, Videokonferenzplattformen, Überwachungssystemen, Buchhaltungssoftware oder Kundensupport-Tools.

Gleichzeitig können Mitarbeiter öffentlich verfügbare generative Tools selbstständig nutzen, um Texte zu verfassen, Dokumente zusammenzufassen, zu übersetzen, Daten zu analysieren oder Programmcode zu erstellen. Eine solche Nutzung kann die Arbeit beschleunigen, setzt die Organisation aber auch einem Risiko aus, wenn personenbezogene Daten, Geschäftsgeheimnisse, vertrauliche Dokumentationen oder Inhalte, die durch Rechte Dritter geschützt sind, in das Tool eingegeben werden.

Die Erstbewertung sollte daher Systeme, Lizenzen und Lieferanten sowie tatsächliche Arbeitspraktiken umfassen. Dadurch lässt sich festlegen, welche Nutzungen erlaubt, eingeschränkt, einer zusätzlichen Prüfung unterworfen oder durch bestimmte Verfahren geregelt werden sollen.

Die KI-Verordnung der EU unterscheidet zwischen verbotenen Praktiken, Systemen mit hohem Risiko, Systemen, die besonderen Transparenzpflichten unterliegen, und anderen Verwendungen, die einen geringeren Regulierungsaufwand mit sich bringen. Die Einstufung richtet sich nach dem Verwendungszweck des Systems und den Einsatzumständen, nicht nur nach dem Produktnamen oder der allgemeinen Beschreibung.

Die Regeln gelten phasenweise. Pflichten zur KI-Kompetenz und die meisten ursprünglichen Verbote gelten seit dem 2. Februar 2025, während die meisten anderen Bestimmungen seit dem 2. August 2026 gelten. Nach den Änderungen vom Juli 2026 gelten die Anforderungen und Pflichten für Hochrisiko-KI-Systeme nach Anhang III ab dem 2. Dezember 2027 und die für produktbezogene Hochrisiko-KI-Systeme nach Anhang I ab dem 2. August 2028. Für bestimmte neue Verbote und Kennzeichnungspflichten gelten gesonderte Übergangstermine, darunter der 2. Dezember 2026. Das anwendbare Datum muss anhand der Art des Systems und der Rolle der Organisation überprüft werden.

Die Rolle der Organisation

Eine Organisation kann als Betreiber eines Systems auftreten, unter bestimmten Umständen kann sie aber auch die Pflichten eines Anbieters übernehmen. Dies kann der Fall sein, wenn sie das System unter eigenem Namen in Verkehr bringt, es wesentlich verändert oder seinen Verwendungszweck ändert.

Vor der Implementierung sollte die Organisation den Zweck des Systems, die betroffenen Personen, die verarbeiteten Daten, seine Rolle bei der Entscheidungsfindung und die jeweiligen Rechtspositionen der Organisation und des Lieferanten ermitteln. Die Konformitätserklärung eines Lieferanten ist nur ein Element der Bewertung.

Generative Tools können Text, Bilder, Ton, Programmiercode und andere Inhalte erstellen. Ihre Ergebnisse können Ungenauigkeiten, erfundene Fakten, Vorurteile oder Teile des Inhalts enthalten, die geschützten Werken ähneln. Das Ergebnis wird daher vor der Verwendung in der rechtlichen, geschäftlichen oder öffentlichen Kommunikation überprüft.

Die Eingabe vertraulicher und personenbezogener Daten erfolgt nur in zugelassenen Tools, mit bekannten Verarbeitungseinstellungen und entsprechendem vertraglichen Rahmen. Insbesondere sollte geprüft werden, ob der Lieferant die eingegebenen Daten für das Modelltraining nutzt, wie lange diese gespeichert werden, wo sie verarbeitet werden, wer darauf zugreift und wie sie gelöscht werden.

Bei der Verarbeitung personenbezogener Daten gelten die Datenschutzbestimmungen unabhängig von der Systemeinstufung nach der KI-Verordnung. Es ist erforderlich, den Zweck und die Rechtsgrundlage der Verarbeitung, den Umfang der Daten, die Aufbewahrungsfrist, die Rechte der betroffenen Personen, Sicherheitsmaßnahmen und eine mögliche Übermittlung von Daten außerhalb des Europäischen Wirtschaftsraums zu bestimmen.

Besondere Vorsicht ist geboten, wenn ein KI-System Personen bewertet, einstuft oder profiliert oder sich auf die Beschäftigung, den Zugang zu Bildung, Krediten, Versicherungen, öffentlichen Dienstleistungen oder die Ausübung von Rechten auswirkt. Zusätzlich zur KI-Verordnung können Datenschutz-, Beschäftigungs-, Gleichbehandlungs-, Verwaltungsverfahrens- und Verbraucherschutzvorschriften gelten.

Bei Entscheidungen, die rechtliche oder vergleichbar erhebliche Auswirkungen haben, sollte die tatsächliche Rolle der Automatisierung und die Möglichkeit menschlichen Eingreifens ermittelt werden. Eine menschliche Aufsicht ist dann sinnvoll, wenn die verantwortliche Person die Grenzen des Systems versteht, die relevanten Daten überprüfen und das Ergebnis begründet ändern oder stoppen kann.

Bestimmte Systeme müssen Personen darüber informieren, dass sie mit künstlicher Intelligenz interagieren, während bei synthetischen oder manipulierten Inhalten möglicherweise Kennzeichnungspflichten gelten. Die genaue Verpflichtung hängt von der Art des Systems und Inhalts, der Art der Veröffentlichung und der Rolle der Organisation ab.

Die meisten Organisationen erwerben ein KI-System als Dienstleistung oder als Teil einer umfassenderen Informationslösung. Vor Vertragsabschluss sollten sie eine klare Beschreibung des Zwecks und der Grenzen, der Datenquellen und -ströme, der Sicherheitsmaßnahmen, der Subunternehmer, der Aufsichtsmechanismen und der zur Erfüllung ihrer eigenen Verpflichtungen erforderlichen Dokumentation einholen.

Die Vereinbarung regelt die zulässige Nutzung, Serviceniveaus, Vertraulichkeit, Verarbeitung und Speicherung von Daten, Rechte an geistigem Eigentum, Meldung von Vorfällen, Zusammenarbeit bei der Überwachung, Systemänderungen, Prüfungsrechte, Verantwortung sowie Rückgabe oder Löschung von Daten bei Beendigung des Dienstes.

Die Verantwortlichkeiten werden entsprechend ihrer tatsächlichen Rollen zwischen Lieferanten und Benutzern verteilt. Die Verantwortung für die Wahl des Zwecks, der Daten, der Benutzer und der Art und Weise, wie das System in den Geschäftsprozess einbezogen wird, bleibt bei der Organisation.

Die Dokumentation sollte die tatsächlichen Verfahren widerspiegeln. Ein Register ohne zugewiesenen Eigentümer, eine Regel ohne Genehmigungsverfahren oder eine Schulung ohne klare Anweisungen haben nur begrenzten Wert. In der Praxis sollten Mitarbeiter wissen, welche Tools sie verwenden dürfen, welche Daten sie eingeben dürfen, wann eine weitere Überprüfung erforderlich ist und an wen ein Problem gemeldet werden soll.

• Aufzeichnungen über KI-Systeme, ihre Zwecke, Lieferanten, Benutzer und Schlüsseldaten
• Regelungen zur erlaubten und eingeschränkten Nutzung, insbesondere für generative Werkzeuge
• Verfahren zur Prüfung und Genehmigung eines neuen Systems oder wesentlicher Änderungen an einem bestehenden System
• klar definierte Verantwortlichkeiten für Beschaffung, rechtliche Beurteilung, IT-Sicherheit, Datenschutz und geschäftliche Nutzung
• Regeln der menschlichen Überwachung, Überprüfung der Ergebnisse und Information der vom System betroffenen Personen
• Verfahren zur Meldung eines Fehlers, Vorfalls, eines falschen Ergebnisses oder des Verdachts einer unbefugten Nutzung
• Schulungen, die an die Rolle der Mitarbeiter und die Risiken der von ihnen tatsächlich verwendeten Werkzeuge angepasst sind
• regelmäßige Überprüfung von Lieferanten, Einstellungen, Verwendungen und regulatorischen Änderungen

Eine detailliertere rechtliche, organisatorische und technische Beurteilung ist insbesondere dann wichtig, wenn das System sensible oder umfangreiche personenbezogene Daten, biometrische Daten verarbeitet, Verhalten überwacht, Personen profiliert oder an der Entscheidung über deren Rechte und Möglichkeiten beteiligt ist.

Situationen, die eine zusätzliche Überprüfung erfordern

Das Auftreten eines dieser Elemente ist ein Signal für eine tiefergehende Analyse. Die endgültige Einstufung und erforderlichen Maßnahmen hängen von der tatsächlichen Funktion des Systems, den Daten, der Rechtswirkung und dem Nutzungskontext ab.

• Systeme im Zusammenhang mit Beschäftigung, Leistungsbewertung oder Beendigung des Beschäftigungsverhältnisses
• biometrische Identifizierung, Kategorisierung von Personen oder erweiterte Analyse der Videoüberwachung
• Systeme, die den Zugang zu öffentlichen Dienstleistungen, Bildung, Krediten, Versicherungen oder anderen wichtigen Rechten beeinträchtigen
• automatisierte Entscheidungsfindung mit rechtlicher oder vergleichbarer erheblicher Wirkung
• Schulung oder Anpassung des Modells anhand interner, vertraulicher oder personenbezogener Daten der Organisation
• öffentliche Veröffentlichung synthetischer Inhalte und Systeme, die direkt mit Benutzern interagieren
• Verknüpfung von KI-Systemen mit wichtigen Geschäfts-, Sicherheits- oder Infrastrukturprozessen
• Übermittlung von Daten an Dritte oder in Länder außerhalb des Europäischen Wirtschaftsraums