Assessments
KI-System-Tests
Manuelle adversariale Tests des KI-Systems im Live-Betrieb, das Modell, seine Prompts, die Retrieval-Pipeline sowie die erreichbaren Tools und APIs, orientiert an den OWASP LLM Top 10. Wir testen mit vereinbarten Konten gegen vereinbarte Umgebungen und lösen ohne ausdrückliche Freigabe keine destruktiven Aktionen oder unkontrollierten Kosten aus.
Umfang
- Prompt Injection und Jailbreaks über direkte und indirekte Eingaben (abgerufene Inhalte oder Tools)
- Prompt- und Datenlecks: System-Prompt, Kontext sowie Offenlegung von RAG- oder Trainingsquellen
- Zugriffskontrolle an KI-Endpunkten: Authentifizierung, Autorisierung und Mandantentrennung
- Missbrauch von Agenten und Tool-Nutzung: unsichere Aktionen, zu weitreichende Berechtigungen, Übergänge in Backend-Systeme
- Ausgabeverarbeitung: unsicheres Rendering, nachgelagerte Injection, unsichere Code- oder Befehlsausführung
Methode
Manuelle adversariale Tests des KI-Systems im Live-Betrieb, das Modell, seine Prompts, die Retrieval-Pipeline sowie die erreichbaren Tools und APIs, orientiert an den OWASP LLM Top 10. Wir testen mit vereinbarten Konten gegen vereinbarte Umgebungen und lösen ohne ausdrückliche Freigabe keine destruktiven Aktionen oder unkontrollierten Kosten aus.
Ergebnis
Ein schriftlicher Bericht mit reproduzierbaren Befunden (genaue Prompts, Eingaben und betroffene Endpunkte), bewertet nach tatsächlicher Auswirkung, mit Guardrail-, Architektur- und Konfigurationsänderungen, die Ihre Entwickler direkt umsetzen können. Ein Nachtest behobener Befunde ist enthalten, wenn im Umfang vereinbart.
Vorgehen
So arbeiten wir
01
Umfang
Jedes Engagement beginnt mit einem Scoping-Gespräch und endet dieses Gespräch mit einer schriftlichen Vereinbarung: Ihr Zielframework oder die Systeme und Umgebungen im Umfang, was ausdrücklich außerhalb liegt, welche Konten und Daten wir nutzen und der Zeitrahmen.
02
Prüfung
Wir messen, wo Sie stehen: ein Gap-Assessment gegen Ihr Zielframework, eine Prüfung von Kontrollen, Policies und Risiken sowie praxisnahe Tests, wo es darauf ankommt. Die Arbeit ist manuell und methodisch, geleitet davon, wie das System tatsächlich genutzt wird und was ein Angreifer wirklich davon will. Tooling unterstützt die Arbeit; es ersetzt sie nicht.
03
Erklärung
Sie erhalten einen schriftlichen Bericht und einen Walkthrough-Call. Die Management-Summary ist für Menschen geschrieben, die nicht dabei waren; jeder Befund enthält Belege, Reproduktionsschritte, geschäftliche Auswirkung und einen konkreten Fix.
04
Nachtest
Hat Ihr Team behoben, testen wir die betroffenen Befunde erneut und liefern einen aktualisierten Bericht, der klar ausweist, was behoben, teilweise behoben oder offen ist. Bei einem Zertifizierungsprogramm bereiten wir die Evidenz vor und stehen Ihnen durch das Audit zur Seite, dann helfen wir Ihnen, sie aktuell zu halten.
Häufig gestellte Fragen
- Welche Arten von KI-Systemen testen Sie?
- LLM-gestützte Features, Chatbots, RAG-Pipelines und agentische, Tool-nutzende Systeme, das Modell, seine Prompts, die Retrieval-Schicht sowie die Tools und APIs, die es erreichen kann.
- Welchem Framework folgen Sie?
- Das Testing orientiert sich an der OWASP LLM Top 10, Prompt Injection und Jailbreaks, Prompt- und Daten-Leakage, Access Control auf KI-Endpunkten sowie Missbrauch von Agenten und Tool-Nutzung.
- Kann das Testing unser Modell beschädigen oder Kosten verursachen?
- Nein. Wir testen mit vereinbarten Accounts gegen vereinbarte Umgebungen und lösen ohne ausdrückliche Freigabe niemals destruktive Aktionen oder unkontrollierte Kosten aus.
Weiterführende Artikel
Weitere Assessments
Engagements haben nach Vereinbarung festen Umfang und Festpreis. Wenn Sie unsicher sind, welcher Service passt, ob Zertifizierungs-Readiness, GRC-Beratung oder ein Penetrationstest, beschreiben Sie Ihre Situation und wir empfehlen einen Umfang, einschließlich der ehrlichen Auskunft, falls Sie uns noch nicht brauchen.