EU AI Act & regulatorische Anforderungen an KI

Bestimmte Anwendungen sind grundsätzlich untersagt – etwa Social Scoring, manipulative oder ausnutzende KI, das ungezielte Auslesen von Gesichtsbildern sowie Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen. Unternehmen müssen prüfen, ob eingesetzte oder geplante Tools unter diese Verbote fallen, und sie andernfalls einstellen. Verstöße sind mit den höchsten Bußgeldern des EU AI Act bewehrt.

Rechtsgrundlage: Art. 5 EU AI Act (VO (EU) 2024/1689); Sanktionen: Art. 99

Unternehmen müssen sicherstellen, dass alle Personen, die mit KI arbeiten, über ausreichende Kenntnisse für einen sicheren und verantwortungsvollen Einsatz verfügen – nachweisbar über rollenbasierte Schulungen und Dokumentation. Die Pflicht gilt unabhängig von der Risikoklasse und betrifft Management wie Fachbereiche. Schulungsinhalte und Teilnahme sollten festgehalten werden, um die Einhaltung belegen zu können.

Rechtsgrundlage: Art. 4 EU AI Act

Jedes KI-System ist einer Risikoklasse zuzuordnen – unannehmbares, hohes, begrenztes oder minimales Risiko. Aus dieser Einordnung leiten sich alle weiteren Pflichten ab, von der Dokumentation bis zur Konformitätsbewertung. Eine belastbare Klassifizierung setzt ein vollständiges KI-Inventar voraus – also zuerst Transparenz darüber, welche Systeme überhaupt im Einsatz sind.

Rechtsgrundlage: Art. 5, 6 u. 50 i. V. m. Anhang III EU AI Act

Anbieter universeller KI-Modelle (z. B. große Sprachmodelle) müssen technische Dokumentation, eine Urheberrechts-Richtlinie und eine Zusammenfassung der Trainingsdaten bereitstellen; für besonders leistungsfähige Modelle mit systemischem Risiko gelten zusätzliche Pflichten wie Modellbewertungen und Vorfallmeldungen. Auch Unternehmen, die solche Modelle nur einsetzen, sollten die Zusicherungen der Anbieter prüfen und vertraglich absichern.

Rechtsgrundlage: Art. 53–55 EU AI Act

Für Hochrisiko-Anwendungen (z. B. in Personalauswahl, Kreditwesen oder kritischer Infrastruktur) gelten umfangreiche Pflichten: Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht, Robustheit und Cybersicherheit sowie eine Konformitätsbewertung mit Registrierung in der EU-Datenbank. Diese Anforderungen betreffen den gesamten Lebenszyklus und sollten früh vorbereitet werden, da sie organisatorische Prozesse und durchgängige Nachweise verlangen. Auch wer Hochrisiko-Systeme nur betreibt, trägt Pflichten – etwa zur menschlichen Aufsicht und bestimmungsgemäßen Nutzung.

Rechtsgrundlage: Art. 6, 8–17, 26 u. 43 i. V. m. Anhang III EU AI Act; Betreiberpflichten: Art. 26

KI-generierte Inhalte, Deepfakes und Chatbots müssen klar gekennzeichnet bzw. offengelegt werden, damit Nutzer erkennen, dass sie mit oder über KI interagieren. In der Praxis braucht es dafür ein Kennzeichnungskonzept, technische Markierungen synthetischer Inhalte und klare Nutzerhinweise. Die Pflicht trifft auch viele Unternehmen außerhalb des Hochrisiko-Bereichs, etwa beim Einsatz von Chatbots im Kundenservice.

Rechtsgrundlage: Art. 50 EU AI Act

In Deutschland überwacht die Bundesnetzagentur die Einhaltung, weitere Behörden sind sektoral eingebunden. Schwerwiegende Vorfälle sind meldepflichtig, bestimmte Hochrisiko-Systeme in einer EU-Datenbank zu registrieren. Unternehmen sollten Melde- und Eskalationswege definieren und die nötigen Nachweise jederzeit vorhalten.

Rechtsgrundlage: Art. 49, 70 u. 73 EU AI Act