EU-Verordnung | KI-Regulierung

EU AI Act: Cybersecurity-Anforderungen für KI-Systeme.

Der EU AI Act (Verordnung EU 2024/1689) ist das weltweit erste verbindliche KI-Gesetz. Er klassifiziert KI-Systeme nach Risiko, schreibt Cybersecurity-Maßnahmen vor und verhängt Bußgelder bis 35 Millionen Euro.

KI-Sicherheitsassessment vereinbaren KI-Penetrationstest kennenlernen

Zuletzt aktualisiert: 04. August 2026 · Stand nach der Digital-Omnibus-Verordnung (EU) 2026/1744

Aug. 2026
Allgemein anwendbar: 35 Mio. EUR
Maximales Bußgeld: Dez. 2027
High-Risk (Annex III): 4 Risikoklassen
Von minimal bis verboten

Grundlagen

Was ist der EU AI Act?

Der EU AI Act (Verordnung EU 2024/1689) ist die erste verbindliche KI-Regulierung weltweit. Die Verordnung wurde am 12. Juli 2024 im Amtsblatt der EU veröffentlicht (angenommen am 13. Juni 2024) und gilt unmittelbar in allen EU-Mitgliedstaaten - ohne nationales Umsetzungsgesetz.

Das Ziel des AI Act ist ein risikobasiertes Regulierungsmodell: Je höher das potenzielle Schadenspotenzial eines KI-Systems, desto strenger die Anforderungen. Besonders relevant für die Cybersicherheit sind die Anforderungen an Robustheit und Widerstandsfähigkeit nach Art. 15 sowie die Pflicht zu adversarialem Testen (Red Teaming) für GPAI-Modelle mit systemischem Risiko nach Art. 55.

In Deutschland regelt das KI-Durchführungsgesetz die Zuständigkeiten. Der Bundestag hat es am 11. Juni 2026 beschlossen, der Bundesrat am 10. Juli 2026 gebilligt; in Kraft ist es seit dem 29. Juli 2026. Zentrale Marktüberwachungsbehörde und nationale Koordinierungsstelle ist die Bundesnetzagentur, allerdings nur, soweit keine andere Behörde zuständig ist: Im Finanzsektor bleibt es bei der BaFin, für produktintegrierte Annex-I-Systeme bei den bestehenden Marktüberwachungsbehörden, und für KI-Systeme öffentlicher Stellen der Länder und Kommunen regeln die Länder die Aufsicht selbst. Das BSI bringt seine Cybersicherheitskompetenz über AIC4 und laufende Normierungsarbeit ein.

EU AI Act auf einen Blick

EU-Verordnung: EU 2024/1689, veröffentlicht 12. Juli 2024 (OJ L 2024/1689)
Verbote ab: 02. Februar 2025zwei ergänzte Verbote ab 02. Dezember 2026
GPAI-Pflichten ab: 02. August 2025
Transparenz (Art. 50) ab: 02. August 2026Bestandssysteme: Kennzeichnung ab 02. Dezember 2026
High-Risk ab: 02. Dezember 2027Annex I: 02. August 2028
D-Behörde: Bundesnetzagentursektorale Ausnahmen, u. a. BaFin
Bußgeld max.: 35 Mio. EUR / 7% weltw. Umsatz

Neue Fristen seit Juli 2026

Die Digital-Omnibus-Verordnung (EU) 2026/1744 hat die Hochrisiko-Pflichten aus Kapitel III Abschnitte 1 bis 3 verschoben: Annex-III-Systeme ab 02. Dezember 2027, produktintegrierte Annex-I-Systeme ab 02. August 2028. Der allgemeine Geltungsbeginn am 02. August 2026 blieb unverändert, ebenso die GPAI-Pflichten und der Grundbestand der Verbote; zwei ergänzte Verbote greifen ab 02. Dezember 2026. Nicht verschoben wurden die übrigen Abschnitte des Kapitels III, etwa die Registrierung nach Art. 49. Mehr Zeit für die Umsetzung heißt nicht weniger Aufwand: Konformitätsbewertung, technische Dokumentation und Datengouvernanz brauchen Vorlauf.

Risikobasierter Ansatz

Die 4 Risikoklassen des AI Act

Der AI Act teilt KI-Systeme in vier Risikoklassen ein: unannehmbares Risiko (verbotene Praktiken), hohes Risiko, begrenztes Risiko und minimales Risiko. Je höher die Risikoklasse, desto strenger die Anforderungen - von keinen Pflichten bis zum vollständigen Verbot. Die Klassifikation bestimmt, welche Cybersecurity- und Compliance-Maßnahmen Sie ergreifen müssen.

Risikoklasse Pflichten Beispiele

Verboten

KI-Systeme mit inakzeptablem Risiko. Der Grundbestand der Verbote gilt seit 02.02.2025, zwei durch die Digital-Omnibus-Verordnung ergänzte Verbote ab 02.12.2026.

Social Scoring durch staatliche oder private Stellen
Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen
Biometrische Kategorisierung zur Ableitung sensibler Merkmale
Manipulation unbewusster Verhaltensweisen (Subliminal Techniques)
Echtzeit-biometrische Fernidentifizierung im öffentlichen Raum (Ausnahmen für Strafverfolgung)
Ausnutzung von Schwächen vulnerabler Gruppen
Ab 02.12.2026: KI-Systeme, die realistische intime Darstellungen einer bestimmbaren Person ohne deren Zustimmung erzeugen oder manipulieren - verboten, wenn das die Zweckbestimmung des Systems ist oder wenn es sich ohne erhebliche technische Änderungen absehbar und reproduzierbar erzielen lässt und das System absehbaren Missbrauch weder zuverlässig verhindert noch gemeldete Fälle korrigiert (Art. 5 Abs. 1 UAbs. 1 Buchst. ba i.V.m. Abs. 1a)

Hohes Risiko (High-Risk)

KI-Systeme nach Annex III. Die Pflichten aus Kapitel III Abschnitte 1-3 gelten ab 02.12.2027, für produktintegrierte Systeme nach Annex I ab 02.08.2028; ausgenommen von der Verschiebung ist Art. 6 Abs. 5 (Art. 113 AI Act in der Fassung der VO (EU) 2026/1744).

Kreditscoring und Kreditwürdigkeitsbewertung
HR-Systeme: Einstellungs- und Beförderungsentscheidungen
Biometrische Identifizierung und Kategorisierung
KRITIS-Betrieb: Strom-, Wasser-, Gasnetze
Strafverfolgung, Grenzkontrolle, Justiz
Bildung und Berufsausbildung
Migration und Asyl

Begrenztes Risiko (Limited Risk)

Transparenzpflichten: Nutzer müssen wissen, dass sie mit einem KI-System interagieren.

Chatbots und konversationelle KI-Systeme
Deepfakes und KI-generierte Inhalte (Kennzeichnungspflicht)
Emotionserkennungssysteme (außerhalb verbotener Bereiche)

Minimales Risiko

Keine spezifischen Pflichten - freiwillige Verhaltenskodizes empfohlen.

Spam-Filter und E-Mail-Klassifikation
Empfehlungssysteme (ohne signifikante Risiken)
KI in Videospielen
Einfache Bildverarbeitungsanwendungen

Welche Risikoklasse gilt für Ihr KI-System?

Die Klassifikation entscheidet über Ihren Compliance-Aufwand. AWARE7 prüft Ihre KI-Systeme, dokumentiert die Einstufung nachvollziehbar und erstellt einen Maßnahmenplan auf Basis Ihrer konkreten Risikoklasse.

Klassifikation anfragen

Art. 15 AI Act

Cybersecurity-Pflichten für KI-Systeme

Art. 15 AI Act verpflichtet Anbieter von High-Risk-KI-Systemen zu Robustheit, Widerstandsfähigkeit und Cybersicherheit. Die Anforderungen gelten über den gesamten Lebenszyklus - von der Entwicklung bis zur Außerbetriebnahme. Welche Angriffe auf KI-Systeme in der Praxis eine Rolle spielen, zeigt unser Wiki-Artikel über Sicherheitslücken in KI-Systemen.

Robustheit gegen Adversarial Attacks

High-Risk-KI-Systeme müssen widerstandsfähig gegen feindliche Manipulationen sein (Art. 15 Abs. 1 AI Act). Dazu gehören Robustheitstests gegen Adversarial Examples, Data Poisoning und Model Inversion. Technische Maßnahmen müssen im gesamten Lebenszyklus dokumentiert werden.

KI-Penetrationstest

Datenintegrität und Datenqualität

Trainings-, Validierungs- und Testdatensätze müssen angemessen in Bezug auf Fehler, Vollständigkeit, Repräsentativität und statistische Eigenschaften sein (Art. 10 AI Act). Daten-Governance-Prozesse und Bias-Checks sind Pflicht.

Technische Dokumentation und Logging

High-Risk-KI-Systeme müssen die automatische Aufzeichnung von Ereignissen über ihre Lebensdauer technisch ermöglichen (Art. 12 AI Act). Die Protokollierung muss dem Zweck angemessen sein und die Rückverfolgbarkeit des Systembetriebs sicherstellen. In der Praxis sind diese Logs die Grundlage für Audits, behördliche Nachfragen und die Aufarbeitung von Vorfällen.

Sicherheitsberatung

Menschliche Aufsicht (Human Oversight)

High-Risk-KI-Systeme müssen so gestaltet sein, dass natürliche Personen die Ausgaben wirksam überwachen können (Art. 14 AI Act). Human-in-the-Loop oder Human-on-the-Loop - je nach Risikoprofil. Übersteuerungsmöglichkeiten sind technisch zu verankern.

Accuracy, Genauigkeit und Bias-Testing

KI-Systeme müssen mit angemessener Genauigkeit, Robustheit und Cybersicherheit über ihren gesamten Lebenszyklus betrieben werden (Art. 15 AI Act). Regelmäßige Bias-Tests und Performance-Monitoring sind Pflicht, insbesondere bei Systemen, die Entscheidungen über Personen treffen.

KI-Sicherheitstest

Konformitätsbewertung und Registrierung

Anbieter von High-Risk-KI-Systemen müssen vor dem Inverkehrbringen eine Konformitätsbewertung durchführen (Art. 43 AI Act), gefolgt von der CE-Kennzeichnung. Die Registrierung in der EU-Datenbank nach Art. 49 trifft Systeme nach Art. 6 Abs. 2 i.V.m. Annex III. Welches Bewertungsverfahren greift, hängt von der Kategorie ab: Annex-III-Systeme laufen überwiegend über die interne Kontrolle, produktintegrierte Annex-I-Systeme über das jeweilige sektorale Produktrecht.

Incident Reporting an Behörden

Schwerwiegende Vorfälle bei High-Risk-KI-Systemen müssen an die zuständige Marktüberwachungsbehörde gemeldet werden (Art. 73 AI Act). In Deutschland ist das nach dem KI-Durchführungsgesetz grundsätzlich die Bundesnetzagentur, im Finanzsektor die BaFin. Für bestimmte Systeme auf Basis von GPAI-Modellen läuft die Meldung seit der Digital-Omnibus-Verordnung direkt an das EU-Büro für Künstliche Intelligenz.

Red Teaming für GPAI-Modelle

Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) mit systemischem Risiko müssen adversariales Testen durchführen (Art. 55 AI Act). Red-Teaming-Tests decken Sicherheitslücken, Missbrauchspotenziale und unerwünschtes Verhalten auf.

Red Teaming für KI

Hinweis: Die Cybersecurity-Anforderungen des AI Act greifen für High-Risk-Systeme nach Annex III ab Dezember 2027, für produktintegrierte Annex-I-Systeme ab August 2028. Anbieter von GPAI-Modellen mit systemischem Risiko müssen adversariales Red Teaming dagegen schon seit August 2025 nachweisen können (Art. 55 AI Act); für Modelle, die vor diesem Datum auf dem Markt waren, läuft die Frist bis August 2027. AWARE7 empfiehlt, mit der Vorbereitung unmittelbar zu beginnen: Datengouvernanz und technische Dokumentation sind die langwierigen Teile, nicht die Konformitätserklärung am Ende.

Art. 50 AI Act

KI-Inhalte kennzeichnen: Die EU-Icons für KI-generierte Inhalte

Seit 02. August 2026 gelten die Transparenzpflichten des Art. 50 AI Act. Betreiber generativer KI-Systeme müssen zwei Arten von Inhalten offenlegen: Deepfakes - KI-generierte oder KI-manipulierte Bild-, Audio- oder Videoinhalte, die real existierende Personen, Objekte, Orte oder Ereignisse darstellen und fälschlich echt oder wahrhaftig erscheinen - und KI-generierte oder KI-manipulierte Texte, die die Öffentlichkeit über Angelegenheiten öffentlichen Interesses informieren - es sei denn, sie wurden menschlich geprüft und eine natürliche oder juristische Person trägt die redaktionelle Verantwortung. Für die Kennzeichnung hat die EU-Kommission 2026 einen frei nutzbaren Icon-Satz veröffentlicht, der zu Abschnitt 2 des Code of Practice on marking and labelling of AI-generated content gehört.

Basis-Icon "AI"

Wenn KI an der Erstellung eines Deepfakes oder veröffentlichten Textes beteiligt war und ein eigenes Textlabel oder eine interaktive Zusatzebene die Details liefert.

Beispiel
Deepfake-Video mit dem Label "Stimmen generiert mit" gefolgt vom Icon

"AI Generated"

Wenn der Inhalt vollständig KI-generiert ist - ohne menschlich erstellte Elemente und ohne redaktionelle Kontrolle, abgesehen vom Prompting.

Beispiel
Vollständig KI-generierte Deepfake-Videos, KI-komponierte Musik, KI-erstellte News-Zusammenfassungen

"AI Modified"

Wenn bestehendes, von Menschen erstelltes Material durch KI teilweise verändert wurde und dadurch zum Deepfake oder zu Text über Angelegenheiten öffentlichen Interesses wird.

Beispiel
Ein Gesicht in einem echten Foto wird per KI gegen das einer anderen Person getauscht

Ausnahmen und Erleichterungen

Redaktionelle Verantwortung: KI-Texte sind ausgenommen, wenn beides zutrifft: menschliche Überprüfung oder redaktionelle Kontrolle hat stattgefunden und eine Person oder Organisation trägt die redaktionelle Verantwortung.
Kunst und Satire: Keine vollständige Ausnahme - bei Deepfakes in offensichtlich künstlerischen, kreativen, satirischen oder fiktionalen Werken beschränkt sich die Pflicht auf eine angemessene Offenlegung, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
Keine Deepfakes: Illustrative KI-Bilder, die keine real existierenden Personen, Objekte, Orte oder Ereignisse fälschlich echt erscheinen lassen, fallen nicht unter Art. 50 Abs. 4.
Strafverfolgung: Gesetzlich autorisierte Nutzung zur Verhütung, Aufdeckung, Ermittlung oder Verfolgung von Straftaten ist ausgenommen.

Platzierungsregeln für die Icons

Gesetzlich verlangt Art. 50 Abs. 5 AI Act eine klare, unterscheidbare und barrierefreie Information spätestens beim ersten Kontakt. Die folgenden Detailregeln stammen aus Abschnitt 2 des Code of Practice und binden dessen Unterzeichner:

Spätestens beim ersten Kontakt mit dem Inhalt klar erkennbar und unterscheidbar, ohne verdeckende Overlays.
Direkt in den Inhalt eingebettet (außer bei kreativen Werken), sofern keine gleichwertige Alternative wie ein UI-Overlay verfügbar ist - die Kennzeichnung muss beim Teilen und Herunterladen sichtbar bleiben.
Barrierefrei: gut sichtbare Größe, klare Sprache im Begleittext, Alt-Text oder ARIA-Label für assistive Technologien.
Zeitlich begrenzte Einblendungen müssen lang genug sichtbar bleiben, um gelesen und verstanden zu werden.

Einordnung: Die Nutzung der EU-Icons ist freiwillig - die Kennzeichnungspflicht nach Art. 50 Abs. 4 AI Act ist es nicht. Das Icon allein stellt keine Rechtskonformität her; Betreiber bleiben dafür verantwortlich, dass ihre Offenlegung die gesetzlichen Anforderungen erfüllt. Davon getrennt ist die Anbieterpflicht nach Art. 50 Abs. 2, Outputs generativer KI-Systeme maschinenlesbar zu markieren. Die Icons stehen als SVG und PNG bei der EU-Kommission zum Download bereit (Stand: 20. Juli 2026). Wie AWARE7 selbst mit KI-unterstützten Inhalten umgeht, zeigt unsere Seite zur digitalen Souveränität. Wie Sie manipulierte Inhalte erkennen, erklärt unser Artikel über Deepfakes.

Regulatorisches Umfeld

AI Act + NIS-2 + DSGVO + CRA: Das regulatorische Gesamtbild

Für Unternehmen, die KI einsetzen, entsteht ein komplexes Zusammenspiel mehrerer EU-Regelwerke. Alle müssen parallel eingehalten werden - ohne Wahlmöglichkeit.

EU AI Act

Risikoklassen, Robustheit, Red Teaming, Logging, Human Oversight. KI-spezifisch.

Anwendbar seit Aug. 2026, High-Risk Annex III ab Dez. 2027

NIS-2

NIS-2-Richtlinie

Cybersicherheit der Gesamtinfrastruktur inkl. KI-Systeme. Gilt für betroffene Sektoren.

NIS-2 Leitfaden

DSGVO

Datenschutz bei KI-Systemen mit personenbezogenen Daten. Gilt für nahezu alle KI-Anwendungen.

DSGVO Leitfaden

CRA

Cyber Resilience Act (CRA)

Cybersicherheitsanforderungen für Produkte mit digitalen Elementen - schließt eingebettete KI ein.

CRA Leitfaden

Deutsche Besonderheiten: Das BSI hat mit dem AI Cloud Service Compliance Criteria Catalogue (AIC4) einen Kriterienkatalog für sichere KI-Clouddienste entwickelt, der AI Act-Anforderungen operationalisiert. Die BaFin hat zudem KI-spezifische Anforderungen für beaufsichtigte Finanzunternehmen (Banken, Versicherungen) herausgegeben, die über den AI Act hinausgehen und auf den EBA/EIOPA-Leitlinien zu IKT-Risiken basieren.

Praxisbeispiele

Reale KI-Vorfälle: Was der AI Act verhindert hätte

Diese Fälle zeigen, warum der AI Act notwendig ist - und welche Konsequenzen bei unkontrolliertem KI-Einsatz drohen. Unter dem AI Act wären viele dieser Vorfälle regulatorisch adressiert oder verhindert worden.

März 2023

ChatGPT & DSGVO - Datenleck bei OpenAI

OpenAI meldete einen Fehler in der Open-Source-Bibliothek Redis, der es Nutzern ermöglichte, Chat-Titel anderer Nutzer zu sehen. Italiens Datenschutzbehörde Garante verhängte ein vorübergehendes Verbot von ChatGPT und leitete ein Verfahren wegen Verstößen gegen die DSGVO ein. Der Vorfall zeigt: KI-Systeme sind keine geschlossenen Systeme - Datenlecks können aus unerwarteten Abhängigkeiten entstehen.

Laufend seit 2022

Clearview AI - Biometrische Daten ohne Einwilligung

Der US-amerikanische KI-Anbieter Clearview AI wurde von mehreren EU-Datenschutzbehörden mit Bußgeldern belegt (Frankreich: 20 Mio. EUR, Italien: 20 Mio. EUR, Griechenland: 20 Mio. EUR). Clearview hatte biometrische Daten aus dem Internet gescrapt, ohne Einwilligung der Betroffenen. Unter dem AI Act greift für diese Praxis das Verbot, Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachung aufzubauen oder zu erweitern (Art. 5 Abs. 1 UAbs. 1 Buchst. e).

Oktober 2018

Amazon HR-KI - Diskriminierung bei Einstellungen

Amazons internes KI-Rekrutierungssystem bevorzugte systematisch männliche Kandidaten, weil es auf historischen Einstellungsdaten trainiert wurde, die männlich dominiert waren. Amazon stellte das Projekt ein. Unter dem AI Act wäre ein solches HR-System als High-Risk eingestuft und hätte umfangreiche Bias-Tests und menschliche Aufsicht erfordert - bereits vor dem Einsatz.

Laufend seit 2021

Tesla Autopilot - Behördliche Untersuchungen

Die US-Behörde NHTSA untersuchte über 750 Unfälle mit Verbindung zu Teslas Autopilot-System. In der EU läuft Fahrzeug-KI nicht über Annex III, sondern über das Produktrecht: Fahrzeuge fallen unter Annex I Abschnitt B des AI Act. Für diese Produkte gilt nach Art. 2 Abs. 2 nur ein kleiner Teil des AI Act unmittelbar; die inhaltlichen Sicherheitsanforderungen kommen aus dem sektoralen Typgenehmigungsrecht, in das die AI-Act-Vorgaben schrittweise einfließen. Wer Fahrzeug-KI baut, prüft deshalb zuerst das Fahrzeugrecht und erst danach den AI Act.

Beratungsleistungen

Wie AWARE7 bei AI Act-Compliance hilft

Von der Risikoklassifikation bis zum adversarialen Testen - AWARE7 begleitet Sie durch alle AI Act-Anforderungen mit dem Fokus auf technische Cybersicherheit.

KI-Penetrationstest & Red Teaming

Adversariales Testen Ihrer KI-Systeme: Adversarial Examples, Data Poisoning, Model Extraction, Prompt Injection - gemäß Art. 15 und Art. 55 AI Act.

KI-Pentest anfragen

AI Act Gap-Analyse & Klassifikation

Nachvollziehbar dokumentierte Risikoklassifikation Ihrer KI-Systeme, Gap-Analyse gegen alle AI Act-Anforderungen, priorisierter Maßnahmenplan mit Zeitplan.

Gap-Analyse starten

Integrierte Compliance: AI Act + NIS-2 + DSGVO

Ganzheitliche Beratung, die AI Act, NIS-2 und DSGVO zusammendenkt - statt drei parallele Projekte zu starten.

NIS-2 Zusammenspiel verstehen

„Der EU AI Act ist keine abstrakte Regulierung - er hat konkrete Cybersecurity-Anforderungen, die technisches Know-how erfordern. Wer KI in sicherheitskritischen Bereichen einsetzt, braucht adversariales Testing, nicht nur Rechtsberatung.“

Chris Wojzechowski

Prüfer mit zusätzlicher Prüfverfahrenskompetenz (§ 8a BSIG) · AWARE7 GmbH

FAQ

Häufige Fragen zum EU AI Act

Die wichtigsten Fragen zum EU AI Act - fachlich fundiert und praxisnah beantwortet.

Ab wann gilt der EU AI Act in Deutschland?

Der EU AI Act (Verordnung EU 2024/1689) trat am 01. August 2024 in Kraft und ist seit 02. August 2026 allgemein anwendbar. Die Digital-Omnibus-Verordnung zur KI (Verordnung EU 2026/1744, in Kraft seit 27. Juli 2026) hat die Fristen für Hochrisiko-Systeme verschoben. Aktueller Stand: Verbotene KI-Praktiken gelten seit 02. Februar 2025, zwei ergänzte Verbote ab 02. Dezember 2026. GPAI-Regeln für allgemeine KI-Modelle gelten seit 02. August 2025. Die Transparenzpflichten nach Art. 50 gelten seit 02. August 2026; für Systeme, die schon vorher auf dem Markt waren, läuft die Kennzeichnungspflicht nach Art. 50 Abs. 2 erst ab 02. Dezember 2026. Die Pflichten für Hochrisiko-Systeme aus Kapitel III Abschnitte 1 bis 3 gelten für Annex-III-Systeme erst ab 02. Dezember 2027 und für produktintegrierte Annex-I-Systeme ab 02. August 2028. Bereits vorher in Verkehr gebrachte Hochrisiko-Systeme werden nach Art. 111 Abs. 2 grundsätzlich erst erfasst, wenn ihre Konzeption erheblich verändert wird; für Systeme im Behördeneinsatz gilt eine Frist bis 02. August 2030. Der AI Act gilt unmittelbar in allen EU-Mitgliedstaaten; in Deutschland regelt das am 29. Juli 2026 in Kraft getretene KI-Durchführungsgesetz ergänzend die Zuständigkeiten.

Welche KI-Systeme gelten als "Hochrisiko" nach dem AI Act?

Annex III des AI Act zählt die Anwendungsbereiche auf, in denen ein KI-System als hochriskant gilt. Die Einstufung ist aber nicht automatisch: Nach Art. 6 Abs. 3 gilt ein System aus diesen Bereichen nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt, etwa weil es nur eine eng begrenzte Verfahrensaufgabe erfüllt. Diese Bewertung ist zu dokumentieren. Zu den Bereichen gehören: Biometrische Identifizierung und Kategorisierung, Betrieb kritischer Infrastrukturen (Energie, Wasser, Transport), Bildung und Berufsausbildung, Beschäftigung und Personalmanagement (HR-Systeme), Zugang zu privaten und öffentlichen Dienstleistungen (Kreditscoring, Sozialleistungen), Strafverfolgung und Grenzkontrolle, Migrations- und Asylverfahren sowie Rechtspflege. Zusätzlich: KI-Systeme in sicherheitsrelevanten Produkten nach EU-Harmonisierungsrecht (Annex I, z. B. Medizinprodukte).

Was bedeutet der AI Act für Unternehmen, die KI-Tools wie ChatGPT nutzen?

Unternehmen, die KI-Dienste nur nutzen (Deployer/Betreiber), haben weniger Pflichten als Anbieter (Entwickler). Dennoch müssen sie: Sicherstellen, dass eingesetzte KI-Systeme konform sind (Due Diligence), Mitarbeiter informieren, wenn KI-Entscheidungen sie betreffen, Human Oversight sicherstellen bei High-Risk-Anwendungen, und bei einigen Systemen eine Datenschutz-Folgenabschätzung nach DSGVO durchführen. Wichtig: Wer ein GPAI-Modell für eigene Zwecke fine-tuned oder anpasst, kann selbst zum Anbieter werden.

Wie hoch sind die Bußgelder nach dem EU AI Act?

Der AI Act sieht drei Bußgeldkategorien vor: Verstöße gegen verbotene KI-Praktiken (Art. 5): bis zu 35 Mio. EUR oder 7% des weltweiten Jahresumsatzes. Verstöße gegen die übrigen Pflichten, etwa aus dem Hochrisiko-Bereich: bis zu 15 Mio. EUR oder 3% des weltweiten Jahresumsatzes. Unrichtige Angaben gegenüber Behörden: bis zu 7,5 Mio. EUR oder 1,5% des Jahresumsatzes. Bei Unternehmen gilt grundsätzlich der höhere der beiden Beträge. Für KMU einschließlich Start-ups gilt der jeweils niedrigere Betrag. Für kleine Midcap-Unternehmen gilt seit der Digital-Omnibus-Verordnung (Art. 99 Abs. 6a) bei den Bußgeldern nach Abs. 4 und 5 ebenfalls der niedrigere Betrag. Diese Sanktionen legen die Mitgliedstaaten fest. Davon zu trennen sind Verstöße von Anbietern allgemeiner KI-Modelle: Dafür verhängt die Kommission nach Art. 101 Geldbußen bis 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist.

Was ist ein GPAI-Modell und welche Pflichten gelten?

GPAI (General Purpose AI) sind KI-Modelle, die für eine Vielzahl von Aufgaben trainiert wurden und in verschiedenen Anwendungskontexten eingesetzt werden können - typisch sind Large Language Models wie GPT-4, Gemini oder LLaMA. Seit 02. August 2025 gelten für GPAI-Anbieter: Technische Dokumentation, Zusammenfassung der Trainingsdaten (Urheberrecht) und eine Urheberrechts-Policy. Für Modelle, die schon vor diesem Datum auf dem Markt waren, läuft die Frist nach Art. 111 Abs. 3 bis 02. August 2027; für bestimmte quelloffene Modelle gelten Ausnahmen. Der GPAI Code of Practice ist dabei ein freiwilliges Instrument: Wer ihn zeichnet, kann damit die Einhaltung nachweisen, verpflichtend ist er nicht. Für GPAI-Modelle mit systemischem Risiko (>10^25 FLOPs Training) kommen hinzu: Adversariales Red-Teaming (Art. 55), Cybersicherheitspflichten, Meldung schwerwiegender Vorfälle an die EU-KI-Behörde.

Wie hängen AI Act, DSGVO und NIS-2 zusammen?

Die drei Regelwerke ergänzen sich und überschneiden sich: Die DSGVO regelt den Datenschutz bei KI-Systemen, die personenbezogene Daten verarbeiten - das gilt für nahezu alle praxisrelevanten KI-Anwendungen. NIS-2 verpflichtet betroffene Einrichtungen zu Cybersicherheit ihrer gesamten IT-Infrastruktur, einschließlich KI-Systeme. Der AI Act ergänzt mit spezifischen KI-Sicherheitsanforderungen (Robustheit, Adversarial Attacks, Human Oversight). Unternehmen müssen alle drei parallel erfüllen. AWARE7 berät integriert: AI Act Compliance plus NIS-2 plus DSGVO aus einer Hand.

Was ist BSI AIC4 und was hat es mit dem AI Act zu tun?

Das BSI hat mit dem AI Cloud Service Compliance Criteria Catalogue (AIC4) einen Kriterienkatalog für die Sicherheit von KI-Cloud-Diensten entwickelt. AIC4 adressiert Sicherheitsaspekte wie Datenintegrität, Modellrobustheit, Transparenz und Erklärbarkeit - und deckt damit erhebliche Teile der AI Act-Anforderungen nach Art. 15 (Robustheit) und Art. 12 (Logging) ab. Wichtig zur Einordnung: AIC4 ist kein im AI Act vorgesehenes Konformitätsbewertungsverfahren und begründet keine gesetzliche Konformitätsvermutung. Ergebnisse einer AIC4-Prüfung können aber als Nachweisbausteine dienen, wo sich die Anforderungen decken, und ersparen doppelte Arbeit. AWARE7 begleitet AIC4-Prüfungen als Vorbereitung auf AI Act-Compliance.

Muss ich meine KI-Systeme in einer EU-Datenbank registrieren?

Anbieter von High-Risk-KI-Systemen nach Annex III müssen ihr System vor dem Inverkehrbringen oder der Inbetriebnahme in der von der EU betriebenen Datenbank registrieren (Art. 49 AI Act). Betreiber (Deployer) von High-Risk-KI-Systemen in bestimmten Bereichen, etwa in der öffentlichen Verwaltung, müssen ebenfalls eingetragen sein. Wer ein System aus einem Annex-III-Bereich nach Art. 6 Abs. 3 als nicht hochriskant bewertet, hat dafür ein vereinfachtes Verfahren; die Digital-Omnibus-Verordnung hat diese Registrierung entschlackt. Ausnahmen gelten für Strafverfolgungsbehörden in bestimmten Konstellationen. Wichtig: Art. 49 steht in Kapitel III Abschnitt 5 und ist von der Fristverschiebung der Digital-Omnibus-Verordnung nicht erfasst - diese betrifft nur die Abschnitte 1 bis 3.

Wie läuft ein KI-Sicherheitsassessment bei AWARE7 ab?

Unser KI-Sicherheitsassessment folgt vier Phasen: (1) Klassifikation - Bestimmung der Risikoklasse Ihrer KI-Systeme nach Art. 5, Art. 6 und Annex III AI Act. (2) Gap-Analyse - Abgleich gegen alle relevanten AI Act-Anforderungen (Datengouvernanz, Robustheit, Logging, Human Oversight, Dokumentation). (3) Technisches Testing - Adversariales Testen (Adversarial Examples, Data Poisoning, Model Extraction) und Bias-Analyse. (4) Bericht und Maßnahmenplan - Dokumentation für Konformitätsbewertung, CE-Kennzeichnung und Behörden. Laufzeit typischerweise 4 bis 10 Wochen.

Gilt der AI Act auch für KI-Systeme, die außerhalb der EU entwickelt werden?

Ja - der AI Act hat extraterritoriale Wirkung, ähnlich der DSGVO. Er gilt für: Anbieter, die KI-Systeme auf dem EU-Markt in Verkehr bringen (unabhängig vom Sitz des Anbieters), Betreiber (Deployer) in der EU, KI-Systeme, deren Outputs in der EU genutzt werden. Das bedeutet: Auch US-amerikanische, chinesische oder israelische KI-Anbieter, die ihre Produkte in der EU vermarkten, müssen den AI Act einhalten. Importeure und Händler in der EU tragen Mitverantwortung für die Konformität der von ihnen vermarkteten Systeme.

Welche KI-Inhalte müssen nach Art. 50 AI Act gekennzeichnet werden?

Die Kennzeichnungspflicht für Betreiber (Art. 50 Abs. 4 AI Act) greift in zwei Fällen: (1) Deepfakes - KI-generierte oder KI-manipulierte Bild-, Audio- oder Videoinhalte, die real existierende Personen, Objekte, Orte, Einrichtungen oder Ereignisse darstellen und fälschlich echt oder wahrhaftig erscheinen. (2) KI-generierte oder KI-manipulierte Texte, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten öffentlichen Interesses zu informieren. Wichtige Ausnahmen: Bei Texten entfällt die Pflicht, wenn eine menschliche Überprüfung oder redaktionelle Kontrolle stattgefunden hat und eine natürliche oder juristische Person die redaktionelle Verantwortung trägt. Bei offensichtlich künstlerischen, kreativen, satirischen oder fiktionalen Werken beschränkt sich die Pflicht auf eine Offenlegung, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt. Illustrative KI-Bilder ohne Deepfake-Charakter fallen nicht unter Art. 50 Abs. 4. Davon getrennt ist die Anbieterpflicht nach Art. 50 Abs. 2, KI-Outputs maschinenlesbar zu markieren. Die Transparenzpflichten gelten seit 02. August 2026.

Was sind die EU-Icons für KI-generierte Inhalte?

Die EU-Kommission stellt seit 2026 drei Icons bereit, mit denen Betreiber generativer KI-Systeme kennzeichnungspflichtige Inhalte labeln können: ein Basis-Icon "AI", ein Icon "AI Generated" für vollständig KI-generierte Inhalte und ein Icon "AI Modified" für teilweise KI-veränderte Inhalte. Die Icons sind Teil von Abschnitt 2 des Code of Practice on marking and labelling of AI-generated content, wurden nutzergetestet und sind in vier Varianten (schwarz, weiß, jeweils auch mit 50 Prozent Transparenz) als SVG und PNG frei verfügbar - ohne Attributionspflicht. Wichtig: Die Nutzung der Icons ist freiwillig, die Kennzeichnungspflicht nach Art. 50 Abs. 4 AI Act ist es nicht. Das Icon allein stellt keine Rechtskonformität her - Betreiber bleiben dafür verantwortlich, dass ihre Offenlegung die Anforderungen des Art. 50 erfüllt.

Aus dem Blog

Weiterführende Artikel

Alle Artikel

Threat Intelligence 04. März 2026

KI-Cyberangriffe: Deepfakes, AI-Phishing und automatisierte Exploits

KI-gestützte Angriffe: Deepfake-Audio für BEC, LLM-Spear-Phishing und AI-Malware - Erkennungsmethoden und Integration in die Security-Strategie.

Jan Hörnemann

10 Min.

Threat Intelligence 04. März 2026

LLM Security: Prompt Injection, Jailbreaking und KI-Red-Teaming

LLM Red Teaming: Prompt Injection, Jailbreaking, Training-Data-Poisoning und OWASP Top 10 for LLM Applications - mit Defense-Strategien.

Jan Hörnemann

12 Min.

Offensive Security 12. August 2019

GDPiRate: Seitenkanalangriff deckt DSGVO-Sicherheitslücken auf!

Seit Mai 2018 haben Nutzer das Recht online auf persönliche Daten zuzugreifen. Drei Studien decken nun DSGVO-Sicherheitslücken auf.

Matteo Große-Kampmann

4 Min.

Alle Artikel

KI-Sicherheitsassessment vereinbaren

In einem kostenlosen 30-minütigen Gespräch analysieren wir Ihre KI-Systeme, bestimmen die relevante Risikoklasse nach AI Act und zeigen, welche Cybersecurity-Maßnahmen konkret erforderlich sind - mit Zeitplan und Festpreisangebot.

Jetzt KI-Assessment buchen Mehr zum KI-Penetrationstest

Kostenlos · 30 Minuten · Unverbindlich