EU-Verordnung | KI-Regulierung

EU AI Act:
Cybersecurity-Anforderungen
für KI-Systeme.

Der EU AI Act (Verordnung EU 2024/1689) ist das weltweit erste verbindliche KI-Gesetz. Er klassifiziert KI-Systeme nach Risiko, schreibt Cybersecurity-Maßnahmen vor und verhängt Bußgelder bis 35 Millionen Euro.

KI-Sicherheitsassessment vereinbaren KI-Penetrationstest kennenlernen

Zuletzt aktualisiert: März 2026 · Von zertifizierten Experten geprüft

In Kraft seit

01.08.2024

Verordnung (EU) 2024/1689

Risikoklassen

4 Stufen

Minimal, Begrenzt, Hoch, Inakzeptabel

Bußgeld

bis 35 Mio. €

oder 7 % des weltweiten Umsatzes

Vollanwendung

Aug. 2027

Stufenweise Einführung ab Feb. 2025

Verbote in Kraft: Feb. 2025
Maximales Bußgeld
High-Risk-Pflichten: Aug. 2026
Von minimal bis verboten

Grundlagen

Was ist der EU AI Act?

Der EU AI Act (Verordnung EU 2024/1689) ist die erste verbindliche KI-Regulierung weltweit. Die Verordnung wurde am 13. Juni 2024 im Amtsblatt der EU veröffentlicht und gilt unmittelbar in allen EU-Mitgliedstaaten — ohne nationales Umsetzungsgesetz.

Das Ziel des AI Act ist ein risikobasiertes Regulierungsmodell: Je höher das potenzielle Schadenspotenzial eines KI-Systems, desto strenger die Anforderungen. Besonders relevant für die Cybersicherheit sind die Anforderungen an Robustheit und Widerstandsfähigkeit nach Art. 15 sowie die Pflicht zu adversarialem Testen (Red Teaming) für GPAI-Modelle mit systemischem Risiko nach Art. 55.

In Deutschland ist die Bundesnetzagentur als zuständige Marktüberwachungsbehörde vorgesehen. Das BSI bringt seine Cybersicherheitskompetenz über AIC4 und laufende Normierungsarbeit ein. BaFin-regulierte Unternehmen müssen zusätzlich die KI-Anforderungen der EBA-Leitlinien einhalten.

EU AI Act auf einen Blick

EU-Verordnung: EU 2024/1689 vom 13. Juni 2024
Verbote ab: 02. Februar 2025
GPAI-Pflichten ab: 02. August 2025
High-Risk ab: 02. August 2026
D-Behörde: Bundesnetzagentur + BSI (Cyber)
Bußgeld max.: 35 Mio. EUR / 7% weltw. Umsatz

High-Risk-Frist läuft

Anbieter von High-Risk-KI-Systemen müssen bis August 2026 alle Konformitätspflichten erfüllen — Konformitätsbewertung, CE-Kennzeichnung, EU-Datenbankregistrierung.

Risikobasierter Ansatz

Die 4 Risikoklassen des AI Act

Der AI Act klassifiziert KI-Systeme nach ihrem Risikopotenzial. Je höher die Risikoklasse, desto strenger die Anforderungen — von keinen Pflichten bis zum vollständigen Verbot. Die Klassifikation bestimmt, welche Cybersecurity- und Compliance-Maßnahmen Sie ergreifen müssen.

Verboten

KI-Systeme, die inakzeptable Risiken darstellen und ab 02.02.2025 vollständig verboten sind.

Social Scoring durch staatliche oder private Stellen
Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen
Biometrische Kategorisierung zur Ableitung sensibler Merkmale
Manipulation unbewusster Verhaltensweisen (Subliminal Techniques)
Echtzeit-biometrische Fernidentifizierung im öffentlichen Raum (Ausnahmen für Strafverfolgung)
Ausnutzung von Schwächen vulnerabler Gruppen

Hohes Risiko (High-Risk)

KI-Systeme nach Annex III mit umfangreichen Pflichten ab 02.08.2026 (Art. 6 AI Act).

Kreditscoring und Kreditwürdigkeitsbewertung
HR-Systeme: Einstellungs- und Beförderungsentscheidungen
Biometrische Identifizierung und Kategorisierung
KRITIS-Betrieb: Strom-, Wasser-, Gasnetze
Strafverfolgung, Grenzkontrolle, Justiz
Bildung und Berufsausbildung
Migration und Asyl

Begrenztes Risiko (Limited Risk)

Transparenzpflichten: Nutzer müssen wissen, dass sie mit einem KI-System interagieren.

Chatbots und konversationelle KI-Systeme
Deepfakes und KI-generierte Inhalte (Kennzeichnungspflicht)
Emotionserkennungssysteme (außerhalb verbotener Bereiche)

Minimales Risiko

Keine spezifischen Pflichten — freiwillige Verhaltenskodizes empfohlen.

Spam-Filter und E-Mail-Klassifikation
Empfehlungssysteme (ohne signifikante Risiken)
KI in Videospielen
Einfache Bildverarbeitungsanwendungen

Welche Risikoklasse gilt für Ihr KI-System?

Die Klassifikation entscheidet über Ihren Compliance-Aufwand. AWARE7 prüft Ihre KI-Systeme verbindlich und erstellt einen Maßnahmenplan auf Basis Ihrer konkreten Risikoklasse.

Klassifikation anfragen

Art. 15 AI Act

Cybersecurity-Pflichten für KI-Systeme

Art. 15 AI Act verpflichtet Anbieter von High-Risk-KI-Systemen zu Robustheit, Widerstandsfähigkeit und Cybersicherheit. Die Anforderungen gelten über den gesamten Lebenszyklus — von der Entwicklung bis zur Außerbetriebnahme.

Robustheit gegen Adversarial Attacks

High-Risk-KI-Systeme müssen widerstandsfähig gegen feindliche Manipulationen sein (Art. 15 Abs. 1 AI Act). Dazu gehören Robustheitstests gegen Adversarial Examples, Data Poisoning und Model Inversion. Technische Maßnahmen müssen im gesamten Lebenszyklus dokumentiert werden.

KI-Penetrationstest

Datenintegrität und Datenqualität

Trainings-, Validierungs- und Testdatensätze müssen angemessen in Bezug auf Fehler, Vollständigkeit, Repräsentativität und statistische Eigenschaften sein (Art. 10 AI Act). Daten-Governance-Prozesse und Bias-Checks sind Pflicht.

Technische Dokumentation und Logging

Vollständige Aufzeichnung aller relevanten Ereignisse über den gesamten Betriebszeitraum (Art. 12 AI Act). Logs müssen Rückverfolgbarkeit und Nachvollziehbarkeit des KI-Systems ermöglichen — für Audits, Behörden und die Strafverfolgung.

Sicherheitsberatung

Menschliche Aufsicht (Human Oversight)

High-Risk-KI-Systeme müssen so gestaltet sein, dass natürliche Personen die Ausgaben wirksam überwachen können (Art. 14 AI Act). Human-in-the-Loop oder Human-on-the-Loop — je nach Risikoprofil. Übersteuerungsmöglichkeiten sind technisch zu verankern.

Accuracy, Genauigkeit und Bias-Testing

KI-Systeme müssen mit angemessener Genauigkeit, Robustheit und Cybersicherheit über ihren gesamten Lebenszyklus betrieben werden (Art. 15 AI Act). Regelmäßige Bias-Tests und Performance-Monitoring sind Pflicht, insbesondere bei Systemen, die Entscheidungen über Personen treffen.

KI-Sicherheitstest

Konformitätsbewertung und Registrierung

Anbieter von High-Risk-KI-Systemen müssen vor dem Inverkehrbringen eine Konformitätsbewertung durchführen (Art. 43 AI Act) und das System in der EU-Datenbank registrieren (Art. 49 AI Act). CE-Kennzeichnung ist erforderlich.

Incident Reporting an Behörden

Schwerwiegende Vorfälle und Fehlfunktionen von High-Risk-KI-Systemen müssen an die zuständige nationale Marktüberwachungsbehörde gemeldet werden (Art. 73 AI Act). In Deutschland ist das voraussichtlich das BSI in Abstimmung mit anderen Behörden.

Red Teaming für GPAI-Modelle

Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) mit systemischem Risiko müssen adversariales Testen durchführen (Art. 55 AI Act). Red-Teaming-Tests decken Sicherheitslücken, Missbrauchspotenziale und unerwünschtes Verhalten auf.

Red Teaming für KI

Hinweis: Die Cybersecurity-Anforderungen des AI Act greifen für High-Risk-Systeme ab August 2026. Anbieter von GPAI-Modellen mit systemischem Risiko müssen adversariales Red Teaming bereits ab August 2025 nachweisen können (Art. 55 AI Act). AWARE7 empfiehlt, mit der Vorbereitung unmittelbar zu beginnen.

Regulatorisches Umfeld

AI Act + NIS-2 + DSGVO + CRA: Das regulatorische Gesamtbild

Für Unternehmen, die KI einsetzen, entsteht ein komplexes Zusammenspiel mehrerer EU-Regelwerke. Alle müssen parallel eingehalten werden — ohne Wahlmöglichkeit.

EU AI Act

Risikoklassen, Robustheit, Red Teaming, Logging, Human Oversight. KI-spezifisch.

Gilt ab 2025/2026

NIS-2-Richtlinie

Cybersicherheit der Gesamtinfrastruktur inkl. KI-Systeme. Gilt für betroffene Sektoren.

NIS-2 Leitfaden

DSGVO

Datenschutz bei KI-Systemen mit personenbezogenen Daten. Gilt für nahezu alle KI-Anwendungen.

DSGVO Leitfaden

Cyber Resilience Act (CRA)

Cybersicherheitsanforderungen für Produkte mit digitalen Elementen — schließt eingebettete KI ein.

Gilt ab Dez. 2027

Deutsche Besonderheiten: Das BSI hat mit dem AI Cloud Service Compliance Criteria Catalogue (AIC4) einen Kriterienkatalog für sichere KI-Clouddienste entwickelt, der AI Act-Anforderungen operationalisiert. Die BaFin hat zudem KI-spezifische Anforderungen für beaufsichtigte Finanzunternehmen (Banken, Versicherungen) herausgegeben, die über den AI Act hinausgehen und auf den EBA/EIOPA-Leitlinien zu IKT-Risiken basieren.

Praxisbeispiele

Reale KI-Vorfälle: Was der AI Act verhindert hätte

Diese Fälle zeigen, warum der AI Act notwendig ist — und welche Konsequenzen bei unkontrolliertem KI-Einsatz drohen. Unter dem AI Act wären viele dieser Vorfälle regulatorisch adressiert oder verhindert worden.

ChatGPT & DSGVO — Datenleck bei OpenAI

März 2023

OpenAI meldete einen Fehler in der Open-Source-Bibliothek Redis, der es Nutzern ermöglichte, Chat-Titel anderer Nutzer zu sehen. Italiens Datenschutzbehörde Garante verhängte ein vorübergehendes Verbot von ChatGPT und leitete ein Verfahren wegen Verstößen gegen die DSGVO ein. Der Vorfall zeigt: KI-Systeme sind keine geschlossenen Systeme — Datenlecks können aus unerwarteten Abhängigkeiten entstehen.

Clearview AI — Biometrische Daten ohne Einwilligung

Laufend seit 2022

Der US-amerikanische KI-Anbieter Clearview AI wurde von mehreren EU-Datenschutzbehörden mit Bußgeldern belegt (Frankreich: 20 Mio. EUR, Italien: 20 Mio. EUR, Griechenland: 20 Mio. EUR). Clearview hatte biometrische Daten aus dem Internet gescrapt, ohne Einwilligung der Betroffenen. Genau diese Praxis wäre unter dem AI Act als verbotene biometrische Kategorisierung einzustufen.

Amazon HR-KI — Diskriminierung bei Einstellungen

Oktober 2018

Amazons internes KI-Rekrutierungssystem bevorzugte systematisch männliche Kandidaten, weil es auf historischen Einstellungsdaten trainiert wurde, die männlich dominiert waren. Amazon stellte das Projekt ein. Unter dem AI Act wäre ein solches HR-System als High-Risk eingestuft und hätte umfangreiche Bias-Tests und menschliche Aufsicht erfordert — bereits vor dem Einsatz.

Tesla Autopilot — Behördliche Untersuchungen

Laufend seit 2021

Die US-Behörde NHTSA untersuchte über 750 Unfälle mit Verbindung zu Teslas Autopilot-System. In der EU würden autonome Fahrsysteme als High-Risk-KI klassifiziert (Annex III, Verkehr). Der AI Act verpflichtet Anbieter zur umfangreichen Konformitätsbewertung, Logging jedes Vorfalls und regelmäßigen Sicherheitsüberprüfungen.

Beratungsleistungen

Wie AWARE7 bei AI Act-Compliance hilft

Von der Risikoklassifikation bis zum adversarialen Testen — AWARE7 begleitet Sie durch alle AI Act-Anforderungen mit dem Fokus auf technische Cybersicherheit.

KI-Penetrationstest & Red Teaming

Adversariales Testen Ihrer KI-Systeme: Adversarial Examples, Data Poisoning, Model Extraction, Prompt Injection — gemäß Art. 15 und Art. 55 AI Act.

KI-Pentest anfragen

AI Act Gap-Analyse & Klassifikation

Verbindliche Risikoklassifikation Ihrer KI-Systeme, Gap-Analyse gegen alle AI Act-Anforderungen, priorisierter Maßnahmenplan mit Zeitplan.

Gap-Analyse starten

Integrierte Compliance: AI Act + NIS-2 + DSGVO

Ganzheitliche Beratung, die AI Act, NIS-2 und DSGVO zusammendenkt — statt drei parallele Projekte zu starten.

NIS-2 Zusammenspiel verstehen

„Der EU AI Act ist keine abstrakte Regulierung — er hat konkrete Cybersecurity-Anforderungen, die technisches Know-how erfordern. Wer KI in sicherheitskritischen Bereichen einsetzt, braucht adversariales Testing, nicht nur Rechtsberatung.“

Chris Wojzechowski

Prüfer mit §8a BSIG Prüfverfahrenskompetenz · AWARE7 GmbH

FAQ

Häufige Fragen zum EU AI Act

Die wichtigsten Fragen zum EU AI Act — fachlich fundiert und praxisnah beantwortet.

Ab wann gilt der EU AI Act in Deutschland?

Der EU AI Act (Verordnung EU 2024/1689) trat am 01. August 2024 in Kraft. Er gilt gestaffelt: Verbotene KI-Praktiken sind seit 02. Februar 2025 wirksam. GPAI-Regeln (allgemeine KI-Modelle wie GPT-4 oder Gemini) gelten ab 02. August 2025. Hochrisiko-KI-Pflichten nach Annex III gelten ab 02. August 2026. Der AI Act gilt unmittelbar in allen EU-Mitgliedstaaten — ohne nationale Umsetzungsgesetze.

Welche KI-Systeme gelten als "Hochrisiko" nach dem AI Act?

High-Risk-KI-Systeme sind in Annex III des AI Act abschließend aufgezählt. Dazu gehören: Biometrische Identifizierung und Kategorisierung, Betrieb kritischer Infrastrukturen (Energie, Wasser, Transport), Bildung und Berufsausbildung, Beschäftigung und Personalmanagement (HR-Systeme), Zugang zu privaten und öffentlichen Dienstleistungen (Kreditscoring, Sozialleistungen), Strafverfolgung und Grenzkontrolle, Migrations- und Asylverfahren sowie Rechtspflege. Zusätzlich: KI-Systeme in sicherheitsrelevanten Produkten nach EU-Harmonisierungsrecht (Annex I, z. B. Medizinprodukte).

Was bedeutet der AI Act für Unternehmen, die KI-Tools wie ChatGPT nutzen?

Unternehmen, die KI-Dienste nur nutzen (Deployer/Betreiber), haben weniger Pflichten als Anbieter (Entwickler). Dennoch müssen sie: Sicherstellen, dass eingesetzte KI-Systeme konform sind (Due Diligence), Mitarbeiter informieren, wenn KI-Entscheidungen sie betreffen, Human Oversight sicherstellen bei High-Risk-Anwendungen, und bei einigen Systemen eine Datenschutz-Folgenabschätzung nach DSGVO durchführen. Wichtig: Wer ein GPAI-Modell für eigene Zwecke fine-tuned oder anpasst, kann selbst zum Anbieter werden.

Wie hoch sind die Bußgelder nach dem EU AI Act?

Der AI Act sieht drei Bußgeldkategorien vor: Verstöße gegen verbotene KI-Praktiken (Art. 5): bis zu 35 Mio. EUR oder 7% des weltweiten Jahresumsatzes. Verstöße gegen High-Risk-Pflichten und GPAI-Regeln: bis zu 15 Mio. EUR oder 3% des weltweiten Jahresumsatzes. Unrichtige Angaben gegenüber Behörden: bis zu 7,5 Mio. EUR oder 1,5% des Jahresumsatzes. Es gilt jeweils der höhere Betrag. Für KMU und Start-ups gelten verhältnismäßigere Obergrenzen.

Was ist ein GPAI-Modell und welche Pflichten gelten?

GPAI (General Purpose AI) sind KI-Modelle, die für eine Vielzahl von Aufgaben trainiert wurden und in verschiedenen Anwendungskontexten eingesetzt werden können — typisch sind Large Language Models wie GPT-4, Gemini oder LLaMA. Ab 02. August 2025 gelten für alle GPAI-Anbieter: Technische Dokumentation, Zusammenfassung der Trainingsdaten (Urheberrecht), EU-Verhaltenskodex-Compliance. Für GPAI-Modelle mit systemischem Risiko (>10^25 FLOPs Training) kommen hinzu: Adversariales Red-Teaming (Art. 55), Cybersicherheitspflichten, Meldung schwerwiegender Vorfälle an die EU-KI-Behörde.

Wie hängen AI Act, DSGVO und NIS-2 zusammen?

Die drei Regelwerke ergänzen sich und überschneiden sich: Die DSGVO regelt den Datenschutz bei KI-Systemen, die personenbezogene Daten verarbeiten — das gilt für nahezu alle praxisrelevanten KI-Anwendungen. NIS-2 verpflichtet betroffene Einrichtungen zu Cybersicherheit ihrer gesamten IT-Infrastruktur, einschließlich KI-Systeme. Der AI Act ergänzt mit spezifischen KI-Sicherheitsanforderungen (Robustheit, Adversarial Attacks, Human Oversight). Unternehmen müssen alle drei parallel erfüllen. AWARE7 berät integriert: AI Act Compliance plus NIS-2 plus DSGVO aus einer Hand.

Was ist BSI AIC4 und was hat es mit dem AI Act zu tun?

Das BSI hat mit dem AI Cloud Service Compliance Criteria Catalogue (AIC4) einen Kriterienkatalog für die Sicherheit von KI-Cloud-Diensten entwickelt. AIC4 adressiert Sicherheitsaspekte wie Datenintegrität, Modellrobustheit, Transparenz und Erklärbarkeit — und deckt damit erhebliche Teile der AI Act-Anforderungen nach Art. 15 (Robustheit) und Art. 12 (Logging) ab. Eine AIC4-Prüfung durch ein akkreditiertes Prüflabor kann als Nachweis für AI Act-Konformität dienen, wenn die Anforderungen deckungsgleich sind. AWARE7 begleitet AIC4-Prüfungen als Vorbereitung auf AI Act-Compliance.

Muss ich meine KI-Systeme in einer EU-Datenbank registrieren?

Ja — Anbieter von High-Risk-KI-Systemen nach Annex III müssen ihr System vor dem Inverkehrbringen oder der Inbetriebnahme in der von der EU betriebenen Datenbank registrieren (Art. 49 AI Act). Betreiber (Deployer) von High-Risk-KI-Systemen in bestimmten Bereichen (z. B. öffentliche Verwaltung) müssen ebenfalls in der EU-Datenbank eingetragen sein. Die Registrierung dient der Markttransparenz und erleichtert die behördliche Aufsicht. Ausnahmen gelten für Strafverfolgungsbehörden in bestimmten Konstellationen.

Wie läuft ein KI-Sicherheitsassessment bei AWARE7 ab?

Unser KI-Sicherheitsassessment folgt vier Phasen: (1) Klassifikation — Bestimmung der Risikoklasse Ihrer KI-Systeme nach Art. 5, Art. 6 und Annex III AI Act. (2) Gap-Analyse — Abgleich gegen alle relevanten AI Act-Anforderungen (Datengouvernanz, Robustheit, Logging, Human Oversight, Dokumentation). (3) Technisches Testing — Adversariales Testen (Adversarial Examples, Data Poisoning, Model Extraction) und Bias-Analyse. (4) Bericht und Maßnahmenplan — Dokumentation für Konformitätsbewertung, CE-Kennzeichnung und Behörden. Laufzeit typischerweise 4 bis 10 Wochen.

Gilt der AI Act auch für KI-Systeme, die außerhalb der EU entwickelt werden?

Ja — der AI Act hat extraterritoriale Wirkung, ähnlich der DSGVO. Er gilt für: Anbieter, die KI-Systeme auf dem EU-Markt in Verkehr bringen (unabhängig vom Sitz des Anbieters), Betreiber (Deployer) in der EU, KI-Systeme, deren Outputs in der EU genutzt werden. Das bedeutet: Auch US-amerikanische, chinesische oder israelische KI-Anbieter, die ihre Produkte in der EU vermarkten, müssen den AI Act einhalten. Importeure und Händler in der EU tragen Mitverantwortung für die Konformität der von ihnen vermarkteten Systeme.

Aus dem Blog

Alle Artikel

Threat Intelligence

KI-Sicherheitsassessment vereinbaren

In einem kostenlosen 30-minütigen Gespräch analysieren wir Ihre KI-Systeme, bestimmen die relevante Risikoklasse nach AI Act und zeigen, welche Cybersecurity-Maßnahmen konkret erforderlich sind — mit Zeitplan und Festpreisangebot.

Jetzt KI-Assessment buchen Mehr zum KI-Penetrationstest

Kostenlos · 30 Minuten · Unverbindlich