Threat Intelligence
LLM Security: Prompt Injection, Jailbreaking und KI-Red-Teaming
Jan Hörnemann12 Min.
KI-Penetrationstest
Wie sicher ist Ihre Künstliche Intelligenz?
Prompt Injection. Jailbreaking. Datenexfiltration. Wir testen Ihre LLMs, RAG-Systeme und KI-Agenten so, wie echte Angreifer es tun - nach OWASP Top 10 LLM und MITRE ATLAS.
OWASP Top 10 LLM MITRE ATLAS EU AI Act Art. 15 ISO 42001
OWASP TOP 10 LLM - ANGRIFFSVEKTOREN
LLM01 Prompt Injection critical
LLM02 Sensitive Info Disclosure critical
LLM04 Data and Model Poisoning high
LLM05 Improper Output Handling high
LLM06 Excessive Agency critical
LLM07 System Prompt Leakage high
LLM08 Vector and Embedding Weaknesses medium
+ LLM03 Supply Chain · LLM09 Misinformation · LLM10 Unbounded Consumption
Vertrauen unserer Kunden
- OWASP LLM Top 10 Kategorien
- 10
- Pentests durchgeführt
- 500+
- Festpreis-Angebot (werktags)
- 48h
- Subunternehmer
- 0
Das Problem
KI-Systeme werden angegriffen - anders als klassische Software
Ihr LLM-Chatbot, Ihr KI-Copilot, Ihre automatisierte Entscheidungslogik - sie alle haben eine Angriffsfläche, die kein klassischer Penetrationstest abdeckt. Prompt Injection allein betrifft jede LLM-Anwendung. Und die regulatorische Uhr tickt:
EU AI Act - Artikel 15
Hochrisiko-KI muss nachweislich robust gegen Adversarial Attacks sein. GPAI-Governance seit August 2025.
NIS-2 & DORA
KI-gestützte Systeme in KRITIS und Finanzwesen unterliegen den gleichen Sicherheitsprüfpflichten - mit persönlicher Geschäftsführerhaftung.
DSGVO-Risiko
LLMs können trainierte Personendaten preisgeben. Ein einziger Data-Leakage-Vorfall kann Bußgelder und Reputationsschaden verursachen.
KLASSISCHER PENTEST
Testet Netzwerke, APIs, Web-Apps, Infrastruktur - aber nicht die KI-Logik, das Modellverhalten oder die Guardrails.
OWASP Top 10 PTES ATT&CK
KI-PENETRATIONSTEST
Testet zusätzlich: Prompt Injection, Jailbreaking, Datenexfiltration, Guardrail-Bypass, Agentenverhalten, Modellintegrität, RAG-Poisoning.
OWASP Top 10 LLM MITRE ATLAS NIST AI RMF EU AI Act ISO 42001
Testbereiche
Was wir testen
Sechs spezialisierte Testbereiche - individuell auf Ihre KI-Architektur zugeschnitten.
01
LLM-Pentest
Prompt Injection (direkt & indirekt), Jailbreaking, System-Prompt-Extraktion, Datenexfiltration, Hallucination Exploitation. Für Chatbots, Copiloten und KI-Assistenten.
OWASP LLM01-10GPT · Claude · Llama
Details ansehen
02 RAG-System-Sicherheit
Document Poisoning, Vektordatenbank-Manipulation, Retrieval-Manipulation und kontextuelle Prompt Injection über eingespeiste Dokumente und Datenquellen.
Indirect InjectionVektordatenbanken
Details ansehen
03 KI-Agenten-Testing
Tool-Missbrauch, Privilege Escalation, Denial-of-Wallet-Angriffe, Multi-Step-Exploitation und Memory-Manipulation bei KI-Agenten mit Werkzeugzugriff.
OWASP LLM06Tool Use · MCP
Details ansehen
04 Guardrail-Assessment
Systematischer Bypass-Test aller Schutzschichten: Content-Filter, Jailbreak-Detektoren, PII-Masking, Output-Validatoren. Quantitative Bewertung der Effektivität.
False Positive/NegativeBypass-Rate
Details ansehen
05 ML-Modell-Sicherheit
Adversarial Examples, Data Poisoning, Model Inversion, Membership Inference und Modelldiebstahl für klassische ML-Systeme in Fraud Detection, Scoring und Diagnostik.
OWASP ML Top 10MITRE ATLAS
Details ansehen
06 KI-Infrastruktur
MLOps-Pipeline-Security, Model-Registry-Zugriffskontrolle, API-Endpunkt-Sicherheit, Daten-Pipeline-Integrität und Supply-Chain-Prüfung eingesetzter Modelle.
MLOpsSupply Chain
Details ansehen
Methodik
Unser Vorgehen in fünf Phasen
01
2–3 Tage
Scoping & Threat Modeling
Identifikation aller KI-Komponenten, Bedrohungsmodellierung nach MITRE ATLAS, Definition der Rules of Engagement und des Testumfangs.
02
3–5 Tage
Reconnaissance
Analyse der KI-Architektur: Modell-Endpunkte, API-Schnittstellen, Daten-Pipelines, Guardrail-Konfiguration, Agenten-Fähigkeiten und Integrationen.
03
5–10 Tage
Vulnerability Testing
Automatisierte Scans (Garak, Promptfoo) kombiniert mit manueller Expertenanalyse. Systematische Prüfung aller OWASP-Top-10-LLM-Kategorien und MITRE-ATLAS-Techniken.
04
2–5 Tage
Exploitation & PoC
Bestätigung kritischer Findings mit Proof-of-Concept. Verkettung von Schwachstellen zu realistischen Angriffsszenarien mit quantifiziertem Business Impact.
05
2–4 Tage
Reporting & Remediation
Technischer Bericht mit CVSS-Scoring, Compliance-Mapping (OWASP, EU AI Act, ISO 42001, NIST AI RMF) und priorisierter Remediation-Roadmap. Management Summary und Abschlusspräsentation.
Typische Gesamtdauer: 15–25 Tage - abhängig von Scope und Anzahl der KI-Komponenten.
Sie erhalten innerhalb von 48 Stunden (werktags) ein verbindliches Festpreisangebot.
Compliance
Ein Test - alle Nachweise
Jedes Finding wird auf die relevanten Standards gemappt. Ihr Bericht ist audit-ready.
OWASP Top 10 LLM
Systematische Prüfung aller 10 Schwachstellenkategorien für LLM-Anwendungen - der De-facto-Standard für LLM-Security.
Internationale Community · Open Source
MITRE ATLAS
Bedrohungsmodellierung und Angriffsszenarien nach dem KI-spezifischen Pendant zu MITRE ATT&CK.
Taktiken · Techniken · Verfahren
EU AI Act
Nachweis der Anforderungen aus Artikel 15: Genauigkeit, Robustheit, Cybersicherheit für Hochrisiko-KI.
Art. 15 · GPAI seit Aug. 2025
ISO/IEC 42001
Technische Evidenz für die Controls des KI-Managementsystem-Standards - Grundlage für Zertifizierung.
38 Controls · 9 Ziele
NIST AI RMF
Mapping auf die vier Kernfunktionen Govern, Map, Measure, Manage des AI Risk Management Frameworks.
Inkl. GenAI Profile (2024)
BSI / NIS-2
Integration in bestehende BSI-IT-Grundschutz-Dokumentation und NIS-2-Sicherheitsanforderungen.
KRITIS · § 31 BSIG
Pakete
Transparent kalkuliert
Festpreisangebote innerhalb von 48 Stunden (werktags). Keine Stundensätze, keine Nachforderungen.
FOKUSSIERT
LLM-Pentest
Einzelner Chatbot oder Copilot
ab 8.100 €zzgl. MwSt. · ab 9.639 € brutto
- OWASP Top 10 LLM komplett
- Prompt Injection & Jailbreaking
- Datenexfiltrations-Tests
- Guardrail-Bypass-Prüfung
- Technischer Bericht + Management Summary
Empfohlen
UMFASSEND
KI-Security-Assessment
Mehrere KI-Komponenten + RAG
ab 14.850 €zzgl. MwSt. · ab 17.671,50 € brutto
- Alles aus LLM-Pentest
- RAG-System-Sicherheit
- KI-Agenten-Testing
- ML-Modell-Prüfung
- Compliance-Mapping (EU AI Act, ISO 42001)
- Abschlusspräsentation + Workshop
PREMIUM
KI-Red-Teaming
Adversariale Simulation · 4–6 Wochen
ab 25.650 €zzgl. MwSt. · ab 30.523,50 € brutto
- Alles aus KI-Security-Assessment
- Kreative Angriffsszenarien
- Multi-Vektor-Exploitation
- Realistische Bedrohungsszenarien
- Continuous Testing über Wochen
- Purple-Team-Debrief
Warum AWARE7
Was uns von anderen Anbietern unterscheidet
Reine Awareness-Plattformen testen keine Systeme. Reine Beratungskonzerne sind zu weit weg. AWARE7 verbindet beides: Wir hacken Ihre Infrastruktur und schulen Ihre Mitarbeiter - mittelstandsgerecht, persönlich, ohne Enterprise-Overhead.
Forschung und Lehre als Fundament
Rund 20% unseres Umsatzes stammen aus Forschungsprojekten für BSI und BMBF. Unsere Studien analysieren Millionen von Websites und Zehntausende Phishing-E-Mails - publiziert auf ACM- und Springer-Konferenzen. Drei unserer Führungskräfte sind gleichzeitig Professoren an deutschen Hochschulen.
Digitale Souveränität - keine Kompromisse
Alle Daten werden ausschließlich in Deutschland gespeichert und verarbeitet - ohne US-Cloud-Anbieter. Alle Mitarbeiter sind festangestellt, sozialversicherungspflichtig und einheitlich rechtlich verpflichtet. Auf Anfrage VS-NfD-konform.
Festpreis in 24h - planbare Projektzeiträume
Innerhalb von 24 Stunden erhalten Sie ein verbindliches Festpreisangebot ohne Stundensatz-Risiko. Durch eingespieltes Team und standardisierte Prozesse erhalten Sie einen klaren Zeitplan mit definiertem Starttermin und Endtermin.
Ihr fester Ansprechpartner - jederzeit erreichbar
Ein persönlicher Projektleiter begleitet Sie vom Erstgespräch bis zum Re-Test. Sie buchen Termine direkt bei Ihrem Ansprechpartner und behalten dieselbe Kontaktperson über das gesamte Projekt. Kontinuität schafft Vertrauen.
Für wen sind wir der richtige Partner?
Mittelstand mit 50–2.000 MA
Unternehmen, die echte Security brauchen - ohne einen DAX-Konzern-Dienstleister zu bezahlen. Festpreis, klarer Scope, ein Ansprechpartner.
IT-Verantwortliche & CISOs
Die intern überzeugend argumentieren müssen - und dafür einen Bericht mit Vorstandssprache brauchen, nicht nur technische Findings.
Regulierte Branchen
KRITIS, Gesundheitswesen, Finanzdienstleister: NIS-2, ISO 27001, DORA - wir kennen die Anforderungen und liefern Nachweise, die Auditoren akzeptieren.
Mitwirkung an Industriestandards
LLM
OWASP · 2023
OWASP Top 10 for Large Language Models
Prof. Dr. Matteo Große-Kampmann als Contributor im Core-Team des international anerkannten OWASP LLM-Sicherheitsstandards.
BSI
BSI · Allianz für Cyber-Sicherheit
Management von Cyber-Risiken
Prof. Dr. Matteo Große-Kampmann als Mitwirkender des offiziellen BSI-Handbuchs für die Unternehmensleitung (dt. Version).
Referenzen aus der Praxis
Pentesting & Schwachstellenscans
Sill Optics GmbH
Feststellung der Angriffsfläche bei Sill Optics GmbH
Pentesting & SchwachstellenscansXignSys GmbH
Whitebox-Penetrationstests eines Authentifizierungsdienstes als Mobile- und Web-Anwendung
Pentesting & SchwachstellenscansTWINSOFT GmbH & Co. KG
Externer Penetrationstest einer iOS-Applikation
Häufige Fragen zum KI-Penetrationstest
Alles, was Sie vor dem Erstgespräch wissen sollten.
Was ist ein KI-Penetrationstest?
Ein KI-Penetrationstest ist eine autorisierte Sicherheitsprüfung von KI-Systemen durch spezialisierte Experten. Wir simulieren reale Angriffe auf Ihre Large Language Models (LLMs), ML-Modelle, RAG-Systeme und KI-Agenten - von Prompt Injection über Jailbreaking bis hin zu Datenexfiltration und Modelldiebstahl. Anders als bei klassischen Pentests testen wir nicht nur die Infrastruktur, sondern die KI-Logik selbst: Guardrails, Alignment, Trainingsintegrität und Agentenverhalten.
Welche Arten von KI-Systemen testen Sie?
Wir testen alle marktgängigen KI-Architekturen: LLM-basierte Chatbots und Copiloten (GPT, Claude, Llama, Mistral), RAG-Systeme (Retrieval-Augmented Generation), KI-Agenten mit Tool-Zugriff, klassische ML-Modelle (Fraud Detection, Scoring, Diagnostik), multimodale Systeme (Bild + Text) sowie die zugehörige Infrastruktur (APIs, MLOps-Pipelines, Vektordatenbanken). Ob Self-hosted oder Cloud-API - der Testansatz wird individuell auf Ihre Architektur zugeschnitten.
Was ist der Unterschied zwischen KI-Pentesting und KI-Red-Teaming?
Ein KI-Pentest prüft Ihr System systematisch gegen bekannte Schwachstellenklassen (OWASP Top 10 for LLMs, MITRE ATLAS). Sie erhalten eine priorisierte Liste aller Findings mit Reproduktionsschritten. KI-Red-Teaming geht weiter: Wir simulieren über mehrere Wochen kreative, realistische Angriffsszenarien - auch solche, die noch in keiner Taxonomie stehen. Das Ziel ist nicht nur eine Schwachstellenliste, sondern die Antwort: Wie weit kommt ein motivierter Angreifer gegen Ihre KI-gestützten Prozesse?
Was ist Prompt Injection und warum ist das gefährlich?
Prompt Injection ist die derzeit kritischste Schwachstelle in LLM-Anwendungen (OWASP LLM01). Ein Angreifer manipuliert die Eingabe so, dass das Modell seine Systemanweisungen ignoriert und stattdessen die Anweisungen des Angreifers ausführt. Bei direkter Prompt Injection geschieht das über die Benutzereingabe, bei indirekter Prompt Injection über vergiftete Dokumente oder Datenquellen, die das Modell verarbeitet (besonders kritisch bei RAG-Systemen). Die Folgen reichen von Datenabfluss über Reputation-Schäden bis zur Remote Code Execution, wenn das LLM an Tools oder APIs angebunden ist.
Brauche ich einen KI-Pentest für die EU-AI-Act-Compliance?
Artikel 15 des EU AI Act verlangt für Hochrisiko-KI-Systeme „ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit" über den gesamten Lebenszyklus - einschließlich Widerstandsfähigkeit gegen Datenvergiftung, Adversarial Attacks und Modellmanipulation. Ein KI-Penetrationstest liefert genau diesen Nachweis. Für GPAI-Modell-Anbieter gelten die Governance-Pflichten seit August 2025. Unser Bericht ist als auditierbarer Compliance-Nachweis konzipiert und mappt alle Findings auf die relevanten EU-AI-Act-Artikel.
Was ist OWASP Top 10 for LLMs?
Das OWASP Top 10 for Large Language Model Applications ist der internationale Community-Standard für LLM-Sicherheit, entwickelt von einer internationalen Community aus hunderten Experten. Die zehn Kategorien der aktuellen Version (v2025) umfassen: Prompt Injection, Sensitive Information Disclosure, Supply Chain, Data and Model Poisoning, Improper Output Handling, Excessive Agency, System Prompt Leakage, Vector and Embedding Weaknesses, Misinformation und Unbounded Consumption. Wir nutzen diese Taxonomie als methodische Grundlage für jeden LLM-Pentest und ergänzen sie um das MITRE-ATLAS-Framework für die Bedrohungsmodellierung.
Was ist MITRE ATLAS?
MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) ist die KI-spezifische Erweiterung des bekannten MITRE ATT&CK-Frameworks. Es dokumentiert Taktiken, Techniken und Verfahren (TTPs) realer Angriffe auf KI-Systeme - von Reconnaissance über Model Evasion bis hin zu Datenexfiltration. Wir nutzen ATLAS für die Bedrohungsmodellierung Ihres KI-Systems und strukturieren unsere Red-Team-Szenarien entlang dieser Angriffsmatrix.
Wie läuft ein KI-Penetrationstest bei AWARE7 ab?
Unser Prozess umfasst fünf Phasen: 1) Scoping-Workshop - Identifikation aller KI-Komponenten, Bedrohungsmodellierung nach MITRE ATLAS, Definition der Rules of Engagement. 2) Reconnaissance - Analyse der KI-Architektur, Modell-Endpunkte, Daten-Pipelines, Guardrails und Integrationen. 3) Vulnerability Testing - automatisierte Scans (Garak, Promptfoo) kombiniert mit manueller Expertenanalyse für Prompt Injection, Jailbreaking, Datenexfiltration, Guardrail-Bypass und Agentenverhalten. 4) Exploitation - Bestätigung kritischer Findings mit Proof-of-Concept, Verkettung zu realistischen Angriffsszenarien. 5) Reporting - technischer Bericht mit CVSS-Scoring, Compliance-Mapping (OWASP, EU AI Act, ISO 42001) und priorisierter Remediation-Roadmap.
Was kostet ein KI-Penetrationstest?
Die Kosten richten sich nach Scope und Komplexität. Ein fokussierter LLM-Pentest (einzelner Chatbot/Copilot, OWASP Top 10 LLM) beginnt ab 8.100 EUR netto. Ein umfassendes KI-Security-Assessment mit mehreren Modellen, RAG-System und Agenten-Testing beginnt ab 14.850 EUR netto. Ein vollumfängliches KI-Red-Teaming über 4-6 Wochen beginnt ab 25.650 EUR netto. Sie erhalten innerhalb von 48 Stunden (werktags) ein verbindliches Festpreisangebot - keine Stundensätze, keine Nachforderungen.
Was ist ISO 42001 und brauche ich das?
ISO/IEC 42001 ist der internationale Standard für KI-Managementsysteme - vergleichbar mit ISO 27001 für Informationssicherheit, aber spezifisch für KI. Der Standard definiert 38 Controls in 9 Zielkategorien und ermöglicht eine Zertifizierung. Für Unternehmen, die KI in regulierten Bereichen einsetzen (Finanzwesen, Gesundheit, kritische Infrastruktur), wird ISO 42001 zunehmend zum Differenzierungsmerkmal gegenüber Kunden und Aufsichtsbehörden. Ein KI-Pentest liefert die technischen Nachweise, die Sie für die Controls in ISO 42001 benötigen.
Können Sie auch KI-Guardrails testen?
Ja. Wir testen systematisch alle Schutzschichten Ihrer KI-Anwendung: Content-Filter, Jailbreak-Detektoren, PII-Masking, Output-Validatoren und Constitutional Classifiers. Dabei prüfen wir sowohl die Bypass-Resistenz (False-Negative-Rate unter adversarialen Bedingungen) als auch die False-Positive-Rate (blockiert der Guardrail legitime Nutzung?). Sie erhalten eine quantitative Bewertung der Guardrail-Effektivität mit konkreten Empfehlungen zur Härtung.
Wie oft sollte ein KI-System getestet werden?
KI-Systeme erfordern häufigere Tests als klassische Software: Modelle werden regelmäßig nachtrainiert, RAG-Inhalte ändern sich täglich, Agenten erhalten neue Fähigkeiten - jede Änderung kann neue Schwachstellen einführen, ohne dass eine einzige Zeile Code geändert wurde. Wir empfehlen: mindestens jährlich einen vollständigen KI-Pentest, bei kritischen Systemen halbjährlich. Für Unternehmen mit kontinuierlichem Model-Update-Zyklus bieten wir ein Retainer-Modell mit quartalsweisen Tests an.
Wie sicher ist Ihre KI wirklich?
Unsere Experten prüfen Ihre LLMs, RAG-Systeme und KI-Agenten - mit Festpreiszusage und audit-ready Reporting.
Kostenlos · 30 Minuten · Unverbindlich
