Service
KI- / LLM-Security
Testen und steuern Sie die KI-Funktionen, die Sie ausliefern, bevor sie Ihre Daten hinaustragen.
KI- und LLM-Funktionen bringen Risiken mit sich, für die klassisches Testen nicht gebaut war: Prompt Injection, Abfluss von Trainings- und Kontextdaten, Modelle, die Tools mit mehr Macht als vorgesehen aufrufen, und Ausgaben, denen man nicht trauen kann. Wir testen diese Systeme so, wie ein Angreifer sie sondieren würde.
Neben dem Testen helfen wir Ihnen, die Governance einzurichten, die Regulierer und Standards zu verlangen beginnen, damit Ihre KI-Nutzung belastbar und zugleich funktional ist.
Was wir testen
Prompt- und Systemgrenzen
Wir versuchen, Ihren System-Prompt und Ihre Guardrails mit gestalteter Eingabe zu überschreiben, einschliesslich indirekter Injection, die in Dokumenten, Webseiten und abgerufenem Kontext mitgeführt wird.
Retrieval- und Kontext-Pipelines
Wir untersuchen, wie Retrieval-Augmented Generation Kontext zusammensetzt und ob nicht vertrauenswürdige Inhalte Anweisungen einschleusen oder Daten in das Modell exfiltrieren können.
Tool- und Function-Calling
Wir sondieren die Aktionen, die das Modell auslösen kann, um zu sehen, ob es in Aufrufe mit mehr Fähigkeit oder Rechten als vorgesehen gesteuert werden kann.
Datenexposition
Wir verfolgen, welche sensiblen, Trainings- oder fremden Nutzerdaten sich über Modellausgaben, Fehlermeldungen oder Caching herauslocken lassen.
Zugriff, Authentifizierung und Limits
Wir prüfen Modell- und API-Zugriffskontrollen, Authentifizierung und Rate-Limiting auf Missbrauch, Kostenerschöpfung und unbefugte Nutzung.
Umgang mit Ausgaben
Wir betrachten, wie nachgelagerte Systeme Modellausgaben verarbeiten, wo unvalidierte Antworten zu Injection oder unsicherer Darstellung führen können.
Standards, nach denen wir arbeiten
Was enthalten ist
- Tests auf Prompt Injection und Jailbreaks gegen Ihre Anwendung
- Prüfung der Datenflüsse auf Abfluss sensibler oder Trainingsdaten
- Assessment von Tool- und Function-Calling auf übermässige Fähigkeiten
- Prüfung von Modellzugriff, Authentifizierung und Rate-Kontrollen
- KI-Governance-Zuordnung gegen ISO 42001 und den EU AI Act
- Anleitung zu Guardrails und Monitoring für Live-Systeme
Was Sie mitnehmen
- Belege dafür, wie Ihre KI-Funktionen angegriffen werden können und was sie exponieren
- Governance, zugeordnet zu ISO 42001 und dem EU AI Act
- Anleitung zu Guardrails und Monitoring für Systeme, die bereits live sind
So läuft es
Zuordnen
Wir ordnen zu, wie Ihre Anwendung das Modell nutzt, welche Daten es erreichen und welche Aktionen es ausführen kann, damit das Testen reale Exposition anvisiert.
Sondieren
Wir testen auf Prompt Injection, Jailbreaks, Datenabfluss und unsichere Tool-Nutzung und verketten sie so, wie ein Angreifer es täte.
Steuern
Wir ordnen Ihre KI-Nutzung gegen ISO 42001 und den EU AI Act zu, damit Sie die Governance zeigen können, die ein Regulierer erwartet.
Härten
Wir geben Anleitung zu Guardrails und Monitoring, damit Probleme in der Produktion abgefangen werden, nicht nur im Test.
Wie wir testen können
Black box
Von aussen nach innen
Wir testen die KI-Funktion ohne internen Zugriff und interagieren nur über die Schnittstelle, die ein gewöhnlicher Nutzer oder Angreifer erreichen würde.
Grey box
Mit teilweisem Kontext
Wir arbeiten mit begrenzten Informationen wie System-Prompts, Tool-Definitionen oder einem Account, sodass das Testen die Teile anvisiert, die Sie am ehesten exponieren.
White box
Mit voller Sicht
Wir prüfen Prompts, Datenflüsse, Tool-Integrationen und Konfiguration begleitend zum Testen, sodass die Abdeckung davon getrieben wird, wie das System tatsächlich gebaut ist.
Wie sich dies von einem generischen Test unterscheidet
Standard-Anwendungstests waren nicht dafür gebaut, wie Sprachmodelle versagen, daher muss der Ansatz anders sein.
| LLM-bewusstes Testen | Ein generischer Web-App-Scan | |
|---|---|---|
| Prompt Injection | Direkt getestet, einschliesslich indirekter Injection über abgerufene Inhalte | Nicht modelliert, daher als gewöhnliche Eingabe behandelt |
| Tool- und Function-Calls | Sondiert auf übermässige Fähigkeit, in die das Modell gesteuert werden kann | Ausserhalb des Scopes oder nur als API-Endpunkte gesehen |
| Datenabfluss | Verfolgt über Modellausgaben, Kontext und Caching | Begrenzt auf bekannte Muster in Antworten |
| Governance | Zugeordnet zu ISO 42001 und dem EU AI Act begleitend zum Testen | Nicht adressiert |
Was dies unterstützt
Die Test- und Governance-Arbeit ordnet sich den Frameworks zu, die zunehmend regeln, wie KI gebaut und eingesetzt wird.
- ISO 42001
- Unterstützt das KI-Managementsystem, indem es Risikobewertung, Kontrollen und Governance über die Nutzung von Modellen belegt.
- EU AI Act
- Hilft Ihnen, Ihre Risikokategorie zu bewerten und das Testen und Risikomanagement nachzuweisen, das der Act von KI-Systemen mit höherem Risiko erwartet.
- ISO 27001
- Speist die Informationssicherheitskontrollen in Annex A, die sichere Entwicklung, Zugriffskontrolle und den Umgang mit den Daten abdecken, die Ihre Modelle verarbeiten.
- GDPR
- Unterstützt die Sicherheits- und Datenschutzpflichten, wo personenbezogene Daten in eine KI-Funktion hinein- oder aus ihr herausfliessen.
FAQ
- Was ist Prompt Injection?
- Prompt Injection ist, wenn von einem Angreifer gestaltete Eingabe die Anweisungen überschreibt, die Sie dem Modell gegeben haben, sodass es Daten preisgibt, seine Regeln ignoriert oder Tools missbraucht, die es aufrufen kann. Wir testen direkt darauf.
- Gilt der EU AI Act für uns?
- Das hängt davon ab, wie und wo Sie KI einsetzen und in welche Risikokategorie Ihre Nutzung fällt. Wir helfen Ihnen, das zu bewerten und die erforderliche Governance zuzuordnen, statt anzunehmen, dass er gilt oder nicht.
- Können Sie eine Funktion testen, die bereits in Produktion ist?
- Ja. Wir vereinbaren Rules of Engagement, damit das Testen gegen ein Live-System sicher ist, und wir können auch zu Guardrails und Monitoring beraten, um Probleme in der Produktion abzufangen.
Verwandte Services
Weiterführende Artikel
Die OWASP LLM Top 10, erklärt: Ein verständlicher Leitfaden für Teams, die KI-Funktionen ausliefern
Ein klarer, praxisnaher Durchgang durch die OWASP Top 10 der Risiken für Anwendungen mit großen Sprachmodellen, mit einer verständlichen Beschreibung und einer konkreten Gegenmaßnahme für jedes Risiko, gerichtet an Teams, die zum ersten Mal KI-Funktionen hinzufügen.
9 Min. Lesezeit
Wie Sie einen Penetrationstest-Bericht (VAPT) lesen: ein verständlicher Leitfaden für Teams
Eine praxisnahe Erläuterung, was in einen Penetrationstest-Bericht gehört, Abschnitt für Abschnitt, damit Gründerinnen und Gründer sowie Engineering-Teams ihn souverän lesen und auf seiner Grundlage handeln können.
8 Min. Lesezeit
SOC 2 vs. ISO 27001: ein ehrlicher Vergleich als Entscheidungshilfe
Ein verständlicher Leitfaden zu den tatsächlichen Unterschieden zwischen SOC 2 und ISO 27001: was jeder Standard ist, wer welchen verlangt, wie die Prüfungen ablaufen, was Sie am Ende in der Hand halten und ob Sie beides machen sollten.
8 Min. Lesezeit