ML-Modell-Sicherheit

Ihr ML-Modell trifft die falschen Entscheidungen.

Fraud-Detection-Systeme, Credit-Scoring-Modelle, medizinische Diagnostik: Sie alle sind angreifbar. Ein präpariertes Bild täuscht Ihren Classifier. Ein vergifteter Datenpunkt korrumpiert das Training. Wir testen Ihre Modelle gegen genau diese Angriffe, nach OWASP ML Top 10, mit dokumentierten Befunden.

ML Security Assessment anfragen Angriffsvektoren ansehen

OWASP ML Top 10 MITRE ATLAS DSGVO-Risikobewertung EU AI Act Art. 15

ab 15.000 €
Festpreisangebot: 48h (werktags)
Angebot innerhalb von: OWASP ML Top 10
vollständig abgedeckt: 0
Subunternehmer

Das Problem

ML-Modelle werden systematisch ausgetrickst

Klassische ML-Systeme haben eine Angriffsfläche, die konventionelle Penetrationstests nicht erfassen: Sie sind statistisch angreifbar, nicht durch Exploits in Code, sondern durch gezielte Manipulation von Ein- und Ausgabedaten. Für produktive Systeme in regulierten Branchen ist das kein akademisches Problem.

Finanzwesen: Betrug wird nicht erkannt

Adversarial Attacks auf Fraud-Detection-Systeme ermöglichen es Angreifern, betrügerische Transaktionen gezielt an der Erkennung vorbeizuschleusen, mit minimalen Anpassungen der Transaktionsmerkmale.

Gesundheitswesen: Diagnostik manipuliert

Adversarial Examples auf medizinischen Bildgebungssystemen können dazu führen, dass ein Tumor nicht erkannt oder eine Fehldiagnose gestellt wird, ohne jede sichtbare Bildmanipulation.

DSGVO: Personendaten aus dem Modell extrahierbar

Model Inversion und Membership Inference bedrohen die Datenschutz-Compliance: Aus Ihrem Modell lassen sich Rückschlüsse auf Trainingsdaten ziehen, selbst ohne Zugriff auf die Originaldaten.

ANGRIFFSBEISPIEL: EVASION ATTACK

INPUT › Transaktion: 2.847 EUR, Händler: DE4829… [normal]

MODIFY › Δ Uhrzeit: +0.003h · Δ Betrag: −0.12 EUR · Δ cat: +1

RESULT › Fraud-Score: 0.08 - als LEGITIM klassifiziert ✓

IMPACT › Betrügerische Transaktion unerkannt durchgeführt

ANGRIFFSBEISPIEL: MEMBERSHIP INFERENCE

QUERY › Scoring API: Anfragen für 1.000 Datenpunkte

ANALYSE › Confidence-Verteilung analysiert → Overfitting-Signal

RESULT › 87 % Genauigkeit: "Person X war im Training", DSGVO

Was wir testen

Sechs Angriffsklassen gegen ML-Modelle

Jeder Test deckt alle OWASP-ML-Top-10-Kategorien ab, mit verifizierten Proof-of-Concept-Exploits für Ihr spezifisches Modell.

Adversarial Examples & Evasion Attacks

Minimale, für Menschen unsichtbare Manipulationen an Eingabedaten, die das Modell zur Fehlklassifikation zwingen. White-Box-Angriffe (FGSM, PGD, C&W) mit Gradientenabstieg und Black-Box-Angriffe durch Transfer und Querymethoden. Besonders kritisch für Fraud Detection, Bildklassifizierung und Qualitätskontrolle.

critical · OWASP ML01 · FGSM · PGD · C&W

Data Poisoning

Manipulation des Trainingsdatensatzes zum Einpflanzen von Backdoors oder zur systematischen Verschlechterung der Modellqualität. Besonders kritisch bei kontinuierlich nachtrainierten Systemen (Online-Learning, Feedback-Loops). Wir analysieren Ihre Dateningestion-Pipeline und Trainingsprozesse auf Poisoning-Vektoren.

critical · OWASP ML02 · Backdoor · Clean-Label

Model Inversion

Rekonstruktion von Trainingsdaten durch systematische API-Abfragen. Besonders relevant für Modelle, die mit personenbezogenen Daten trainiert wurden. Wir quantifizieren, wie präzise Eingabemerkmale aus Ausgabeinformationen rückschließbar sind, direkte DSGVO-Risikobewertung.

high · OWASP ML03 · DSGVO-Risiko

Membership Inference

Statistische Angriffe zur Bestimmung, ob ein Datenpunkt im Training verwendet wurde. Confidence-basierte und Shadow-Model-basierte Angriffsmethoden. Wir messen die Attack Success Rate und bestimmen den Informationsabfluss nach DSGVO-Artikel 5 (Zweckbindung, Datensparsamkeit).

high · OWASP ML04 · Art. 5 DSGVO

Model Theft & Extraction

Diebstahl von Modellgewichten oder -verhalten durch systematisches Querying der Inference-API. Wir messen, wie viele Anfragen für eine akkurate Extraktion benötigt werden, und testen Ihre API-Schutzmaßnahmen: Rate Limiting, Output-Perturbation, Querypattern-Detection.

high · OWASP ML05 · IP-Schutz

Transfer Learning & Supply Chain Backdoors

Prüfung vortrainierter Modelle aus öffentlichen Quellen (Hugging Face, TensorFlow Hub, PyPI) auf bekannte und neuartige Backdoor-Signaturen. Analyse der Trainings-Supply-Chain: Welche Drittanbieter-Datensätze wurden verwendet? Sind sie vertrauenswürdig und auditierbar?

critical · OWASP ML07 · MITRE ATLAS AML.T0010

Branchen

Wer braucht ML-Modell-Sicherheit besonders dringend?

Überall dort, wo ML-Modelle automatisiert Entscheidungen treffen, die Konsequenzen für Menschen oder Unternehmen haben, ist Sicherheitsresilienz keine Option, sondern Pflicht.

Finanzwesen

Fraud Detection Bypass
Credit Scoring Manipulation
AML-Modell-Evasion
Insider-Trading-Erkennung umgangen

DORA · BaFin · MaRisk

Gesundheitswesen

Diagnostik-Modell-Täuschung
Patientendaten-Inversion
Medikamenten-Dosierungsfehler
Anomalieerkennung ausgehebelt

EU AI Act Hochrisiko · MDR

Versicherungen

Underwriting-Modell-Evasion
Schadensbearbeitung manipuliert
Risikomodelle vergiftet
Membership Inference auf Kunden

DSGVO · Solvency II

Industrie & Qualitätskontrolle

Bildklassifizierung ausgetrickst
Defekte unerkannt gelassen
Prozesssteuerung manipuliert
Predictive Maintenance gestört

NIS-2 · IEC 62443

Methodik

Wie ein ML Security Assessment abläuft

Systematische Angriffssimulation nach OWASP ML Top 10 und MITRE ATLAS, kombiniert mit DSGVO-Risikobewertung.

2-3 Tage

Scoping & Bedrohungsmodellierung

Identifikation aller ML-Komponenten, Datenflüsse und Abhängigkeiten. Bedrohungsmodellierung nach MITRE ATLAS (ML-spezifische Taktiken). Bewertung des regulatorischen Rahmens: EU AI Act Risikoklasse, DSGVO-Verarbeitungsgrundlage, branchenspezifische Anforderungen (BaFin, MDR). Definition des Testumfangs und der Rules of Engagement.

2-4 Tage

Modell-Analyse & Reconnaissance

Architekturanalyse: Modelltyp, Framework (scikit-learn, PyTorch, TensorFlow), Trainingshistorie, Feature-Engineering. API-Endpunkt-Kartierung: Welche Eingaben werden akzeptiert? Wie präzise sind die Ausgaben? Trainings-Supply-Chain-Analyse: Datenquellen, Frameworks, vortrainierte Modelle. Identifikation des Attack Surface.

5-8 Tage

Adversarial Testing

White-Box-Angriffe (bei Modellzugriff): Gradient-basierte Methoden (FGSM, PGD, Carlini & Wagner), Backward Pass Differentiable Approximation. Black-Box-Angriffe (nur API): Transfer-basierte Methoden, Zeroth-Order-Optimierung, Square Attack. Tabellarische Daten: Feature-Manipulation, Constraint-basierte Evasion für Fraud- und Scoring-Systeme.

3-5 Tage

Datenschutz-Angriffsanalyse

Model Inversion: Rekonstruktion von Eingabemerkmalen aus Ausgaben. Membership Inference: Confidence-Ratio-Angriffe, Shadow-Model-Methode, LiRA-Angriff. Attribut-Inference: Können nicht übermittelte Merkmale erschlossen werden? Quantitative DSGVO-Risikoberechnung: Informationsabfluss in Bits, Precision/Recall der Angriffe.

2-4 Tage

Supply Chain & Poisoning-Analyse

Audit aller verwendeten vortrainierten Modelle und Datensätze. Backdoor-Detection mit neuronalen Cleanser-Methoden (NC, STRIP, ABS). Prüfung der Dateningestion-Pipeline auf Poisoning-Vektoren. CI/CD-Analyse: Sind Trainingspipelines vor unautorisierter Manipulation geschützt?

2-4 Tage

Reporting & Remediation

Technischer Bericht mit OWASP-ML-Mapping, MITRE-ATLAS-Referenzen und CVSS-v4-Scoring. DSGVO-Risikoabschnitt: Quantifizierter Informationsabfluss und Handlungsempfehlungen. EU-AI-Act-Compliance-Nachweis für Art. 15 (Robustheit, Cybersicherheit). Priorisierte Remediation-Roadmap: Defense-in-Depth-Strategie (Adversarial Training, Differential Privacy, Monitoring).

Typische Gesamtdauer: 15-25 Tage - abhängig von Modellkomplexität, Datenzugriff und Testtiefe.
Sie erhalten innerhalb von 48 Stunden (werktags) ein verbindliches Festpreisangebot ab 15.000 EUR.

Compliance & Regulatorik

Ein Assessment: alle Compliance-Nachweise

Jedes Finding wird auf relevante Standards und Regulierungen gemappt. Ihr Bericht ist audit-ready.

OWASP ML Top 10

Systematische Prüfung aller zehn Schwachstellenkategorien für ML-Systeme. Der Katalog ist der De-facto-Standard für ML-Security-Assessments weltweit.

ML01-ML10 · vollständig abgedeckt

MITRE ATLAS

Bedrohungsmodellierung nach dem KI-spezifischen ATT&CK-Pendant: Taktiken und Techniken realer Angriffe auf ML-Systeme als Grundlage der Testplanung.

Taktiken · Techniken · Verfahren

EU AI Act: Art. 15

Nachweis der Robustheit gegen Adversarial Attacks, Data Poisoning und Modellmanipulation für Hochrisiko-KI-Systeme gemäß Artikel 15.

Hochrisiko-KI · GPAI seit Aug. 2025

DSGVO: Art. 5 & 25

Quantifizierter Nachweis von Informationsabfluss durch Model Inversion und Membership Inference. Technische Maßnahmen nach Datenschutz durch Technikgestaltung (Art. 25).

Privacy by Design · Risikobericht

ISO/IEC 42001

Technische Evidenz für die operativen KI-Sicherheitscontrols des KI-Managementsystem-Standards, Grundlage für ISO-42001-Zertifizierung.

38 Controls · 9 Zielkategorien

NIST AI RMF

Mapping auf die Kernfunktionen Govern, Map, Measure, Manage. Besonders relevant für das AI RMF Adversarial ML Profile (NIST AML).

NIST AML · GenAI Profile (2024)

Warum AWARE7

Was uns von anderen Anbietern unterscheidet

Reine Awareness-Plattformen testen keine Systeme. Reine Beratungskonzerne sind zu weit weg. AWARE7 verbindet beides: Wir hacken Ihre Infrastruktur und schulen Ihre Mitarbeiter: mittelstandsgerecht, persönlich, ohne Enterprise-Overhead.

Forschung und Lehre als Fundament

20 %

Rund 20% unseres Umsatzes stammen aus Forschungsprojekten für BSI und BMBF. Unsere auf ACM- und Springer-Konferenzen publizierten Studien analysieren Millionen von Websites und Zehntausende Phishing-E-Mails. Drei unserer Führungskräfte sind gleichzeitig Professoren an deutschen Hochschulen.

Digitale Souveränität: keine Kompromisse

100 %

Ihre Daten liegen vom Erstkontakt bis zum Abschlussbericht auf unseren eigenen Servern in Deutschland - ohne US-Cloud-Anbieter, ohne Drittlandtransfer. Auch unsere KI läuft auf eigener Hardware in Deutschland - mit lokal betriebenen Open-Source-Modellen. Kunden- und Auftraggeberdaten erreichen keine externen KI-Dienste. Alle Mitarbeiter sind festangestellt, sozialversicherungspflichtig und einheitlich rechtlich verpflichtet.

Mehr zur digitalen Souveränität

Festpreis in 24h: planbare Projektzeiträume

24 h

Innerhalb von 24 Stunden erhalten Sie ein verbindliches Festpreisangebot ohne Stundensatz-Risiko. Eingespieltes Team und standardisierte Prozesse sorgen für einen klaren Zeitplan mit definiertem Start- und Endtermin.

Ihr fester Ansprechpartner

1:1

Ein persönlicher Projektleiter begleitet Sie vom Erstgespräch bis zum Re-Test. Sie buchen Termine direkt bei Ihrem Ansprechpartner und behalten dieselbe Kontaktperson über das gesamte Projekt.

Peer-reviewte Publikationen

Different Seas, Different Phishes - Large-Scale Analysis of Phishing Simulations

ACM AsiaCCS 2025

Oskar Braun, Jan Hörnemann, Norbert Pohlmann, Matteo Große-Kampmann

A Platform for Physiological and Behavioral Security

NSPW 2025

Jan Hörnemann

Privacy from 5 PM to 6 AM: Tracking and Transparency in the HbbTV Ecosystem

IEEE/IFIP DSN 2025

Jan Hörnemann, Norbert Pohlmann, Matteo Große-Kampmann

Understanding Regional Filter Lists: Efficacy and Impact

PoPETS 2025

Jan Hörnemann, Norbert Pohlmann, Matteo Große-Kampmann

Für wen sind wir der richtige Partner?

Mittelstand mit 50-2.000 MA

Unternehmen, die echte Security brauchen, ohne einen DAX-Konzern-Dienstleister zu bezahlen. Festpreis, klarer Scope, ein Ansprechpartner.

IT-Verantwortliche & CISOs

Die intern überzeugend argumentieren müssen und dafür einen Bericht mit Vorstandssprache brauchen, nicht nur technische Findings.

Regulierte Branchen

KRITIS, Gesundheitswesen, Finanzdienstleister: NIS-2, ISO 27001, DORA. Wir kennen die Anforderungen und liefern Nachweise, die Auditoren akzeptieren.

FAQ

Häufige Fragen zur ML-Modell-Sicherheit

Alles, was Sie über Adversarial Attacks, Data Poisoning und DSGVO-Risiken bei ML-Systemen wissen sollten.

Was ist Data Poisoning?

Data Poisoning (OWASP ML02 / MITRE ATLAS AML.T0020) ist ein Angriff auf die Trainingsphase eines ML-Modells. Ein Angreifer schleust manipulierte Datenpunkte in den Trainingsdatensatz ein, um das Modell systematisch zu korrumpieren. Die Folgen: Das Modell trifft gezielt falsche Entscheidungen für bestimmte Eingaben (Backdoor-Angriff), erzeugt insgesamt verschlechterte Vorhersagen (Denial of Service gegen Modellqualität) oder wurde so konditioniert, dass es einen bestimmten Trigger-Input immer falsch klassifiziert. Besonders kritisch bei Modellen, die kontinuierlich nachtrainiert werden - z.B. Fraud-Detection-Systeme, die täglich neue Transaktionsdaten verarbeiten.

Was sind Adversarial Examples und wie funktionieren Evasion Attacks?

Adversarial Examples sind Eingaben, die für einen Menschen identisch mit legitimen Inputs aussehen, das Modell aber zu einer falschen Klassifizierung zwingen. Bei einem Bild-Klassifikator reicht es, gezielt ausgewählte Pixel um einen minimalen Betrag zu verschieben - für das menschliche Auge unsichtbar, für das Modell ist das Objekt plötzlich etwas anderes. Bei tabellarischen Daten (Fraud Detection, Credit Scoring) werden wenige numerische Merkmale minimal angepasst, sodass eine betrügerische Transaktion als legitim durchgeht. Evasion Attacks können im White-Box-Setting (Angreifer kennt das Modell) mit Gradientenabstieg erzeugt werden oder im Black-Box-Setting (nur API-Zugriff) durch Transfer-basierte Methoden und Abfrage-Optimierung.

Was ist Model Inversion und warum betrifft mich die DSGVO?

Bei einem Model-Inversion-Angriff rekonstruiert ein Angreifer Trainingsdaten aus einem ML-Modell - ohne direkten Zugriff auf die ursprünglichen Daten. Durch systematische Abfragen und Analyse der Modellausgaben lassen sich Merkmalswerte einzelner Trainingsdatenpunkte näherungsweise rekonstruieren. Im medizinischen Bereich bedeutet das: Aus einem trainierten Diagnostik-Modell können sensible Patientendaten rekonstruiert werden. Im Finanzbereich: Aus einem Scoring-Modell lassen sich Rückschlüsse auf Kontodaten ziehen. Die DSGVO-Relevanz ist direkt: Wenn aus Ihrem Modell personenbezogene Daten extrahierbar sind, liegt ein Datenschutzverstoß vor - selbst wenn die Rohdaten sicher gespeichert sind. Unsere Tests prüfen, ob Ihr Modell anfällig für Inversion ist und welche Daten potenziell rekonstruierbar wären.

Was ist Membership Inference und warum ist das ein DSGVO-Problem?

Membership Inference Attacks beantworten die Frage: "War Person X in den Trainingsdaten dieses Modells?" - mit einer Genauigkeit weit über dem Zufallsniveau. Ein Angreifer beobachtet, wie ein Modell auf bestimmte Eingaben reagiert, und schließt daraus, ob dieser Datenpunkt im Training verwendet wurde. Das ist ein direktes DSGVO-Problem, weil es die Verarbeitung personenbezogener Daten offenbart, auch wenn diese nie direkt zugänglich sind. In regulierten Branchen - Medizin, Versicherungen, HR - ist allein die Zugehörigkeit zur Trainingsgruppe eine schützenswerte Information. Ein Betroffener könnte so herausfinden, ob seine Daten ohne Einwilligung verarbeitet wurden.

Was ist das OWASP Machine Learning Security Top 10?

Das OWASP Machine Learning Security Top 10 ist ein Community-Standard für die kritischsten Sicherheitsrisiken klassischer ML-Systeme - analog zum OWASP Top 10 für Web-Applikationen. Die zehn Kategorien sind: ML01 Input Manipulation Attack (Adversarial Examples), ML02 Data Poisoning Attack, ML03 Model Inversion Attack, ML04 Membership Inference Attack, ML05 Model Theft, ML06 AI Supply Chain Attacks, ML07 Transfer Learning Attack, ML08 Model Skewing, ML09 Output Integrity Attack und ML10 Model Poisoning. Wir nutzen diesen Standard als systematische Grundlage für alle ML-Security-Assessments und ergänzen ihn mit dem MITRE ATLAS Framework für die Bedrohungsmodellierung.

Was ist Model Theft und wie wird mein ML-Modell gestohlen?

Model Extraction (OWASP ML05) bezeichnet den Diebstahl eines ML-Modells durch systematisches Querying der API. Ein Angreifer sendet tausende sorgfältig ausgewählter Eingaben und analysiert die Ausgaben - damit trainiert er ein Surrogate-Modell, das das Original nahezu perfekt nachahmt. Die Angreifer-Motivation: Ihr Modell ist geistiges Eigentum und hat erheblichen Wettbewerbswert. Ein gestohlenes Fraud-Detection-Modell ermöglicht es Angreifern zudem, lokal Adversarial Examples zu erzeugen, die im White-Box-Setting präziser sind. Gegenmaßnahmen umfassen: Differential Privacy beim Training, Output-Perturbation, Rate Limiting und Querypattern-Monitoring - wir prüfen, wie resilient Ihre API gegen Extraction ist.

Was sind Transfer Learning Attacks und Backdoors in vortrainierten Modellen?

Transfer Learning ist heute Standard: Unternehmen nutzen vortrainierte Basismodelle (ImageNet, BERT, GPT) und fine-tunen diese auf eigene Daten. Ein Angreifer kann in der vortrainierten Phase einen Backdoor einpflanzen - eine versteckte Logik, die nur bei einem bestimmten Trigger-Input aktiviert wird. Das resultierende Fine-Tuned-Modell verhält sich für alle normalen Eingaben korrekt, gibt aber bei der speziellen Trigger-Eingabe immer die vom Angreifer gewünschte Ausgabe zurück. Besonders gefährlich: Der Backdoor überlebt typischerweise das Fine-Tuning und ist in normalen Validierungsroutinen nicht erkennbar. Wir prüfen Ihre vortrainierten Modelle aus öffentlichen Quellen auf bekannte und neuartige Backdoor-Signaturen.

Welche ML-Systeme testen Sie konkret?

Wir testen alle marktgängigen ML-Systemtypen: Klassische überwachte Lernmodelle (Random Forests, Gradient Boosting, SVMs, Neural Networks) für Fraud Detection, Credit Scoring, Churn Prediction und Qualitätskontrolle. Computer-Vision-Modelle (CNN, ViT) für medizinische Bildgebung, industrielle Inspektion und OCR. NLP-Modelle für Sentiment Analysis, Document Classification und Named Entity Recognition. Anomalieerkennung und Zeitreihenmodelle (LSTM, Prophet) für industrielle Prozessüberwachung. Reinforcement-Learning-Systeme für Pricing und Ressourcenoptimierung. Sowohl Cloud-hosted (SageMaker, Vertex AI, Azure ML) als auch on-premise deployments.

Was kostet ein ML Security Assessment?

Ein ML-Security-Assessment ist spezialisierter als ein klassischer Penetrationstest und erfordert tiefes Fachwissen in Statistik, ML-Algorithmen und Angriffsmethodik. Ein fokussiertes Assessment eines einzelnen ML-Modells (z.B. Ihr Fraud-Detection-System) beginnt ab 15.000 EUR. Ein umfassendes Assessment mehrerer Modelle inklusive Pipeline-Prüfung und DSGVO-Risikobewertung liegt bei 25.000-45.000 EUR. Sie erhalten innerhalb von 48 Stunden (werktags) ein verbindliches Festpreisangebot. Kein Stundensatz, keine Nachforderungen.

Wie resilient ist Ihr ML-Modell gegen gezielte Angriffe?

Unsere Experten testen Ihr Fraud-Detection-System, Ihr Scoring-Modell oder Ihre KI-Diagnostik auf alle OWASP-ML-Top-10-Angriffe, mit Festpreiszusage und DSGVO-Risikobewertung.

ML Security Assessment anfragen

Kostenlos · 30 Minuten · Unverbindlich

Aus dem Blog