Service
Sécurité IA / LLM
Testez et gouvernez les fonctionnalités d'IA que vous livrez avant qu'elles ne fassent sortir vos données.
Les fonctionnalités d'IA et de LLM introduisent des risques pour lesquels les tests traditionnels n'ont pas été conçus : injection de prompt, fuite des données d'entraînement et de contexte, modèles appelant des outils avec plus de pouvoir que prévu, et sorties auxquelles on ne peut se fier. Nous testons ces systèmes comme un attaquant les sonderait.
Aux côtés des tests, nous vous aidons à mettre en place la gouvernance que les régulateurs et les standards commencent à exiger, pour que votre usage de l'IA soit défendable autant que fonctionnel.
Ce que nous testons
Limites du prompt et du système
Nous tentons de remplacer votre prompt système et vos garde-fous avec une entrée élaborée, y compris l'injection indirecte portée par des documents, des pages web et du contexte récupéré.
Pipelines de récupération et de contexte
Nous examinons comment la génération augmentée par récupération assemble le contexte et si un contenu non fiable peut glisser des instructions ou exfiltrer des données vers le modèle.
Appel d'outils et de fonctions
Nous sondons les actions que le modèle peut déclencher pour voir s'il peut être orienté vers des appels dotés de plus de capacité ou de privilège que prévu.
Exposition des données
Nous traçons quelles données sensibles, d'entraînement ou d'autres utilisateurs peuvent être extraites par les sorties du modèle, les messages d'erreur ou la mise en cache.
Accès, authentification et limites
Nous vérifions les contrôles d'accès au modèle et à l'API, l'authentification et la limitation de débit face à l'abus, à l'épuisement des coûts et à l'usage non autorisé.
Traitement des sorties
Nous regardons comment les systèmes en aval consomment la sortie du modèle, là où des réponses non validées peuvent mener à une injection ou à un rendu non sûr.
Les standards selon lesquels nous travaillons
Ce qui est inclus
- Tests d'injection de prompt et de jailbreak contre votre application
- Revue des flux de données pour la fuite de données sensibles ou d'entraînement
- Assessment de l'appel d'outils et de fonctions pour détecter des capacités excessives
- Revue de l'accès au modèle, de l'authentification et des contrôles de débit
- Mappage de gouvernance IA par rapport à ISO 42001 et au EU AI Act
- Conseils sur les garde-fous et la supervision des systèmes en production
Ce que vous en retirez
- Des preuves de la façon dont vos fonctionnalités d'IA peuvent être attaquées et de ce qu'elles exposent
- Une gouvernance mappée sur ISO 42001 et le EU AI Act
- Des conseils de garde-fous et de supervision pour des systèmes déjà en production
Comment cela se déroule
Mapper
Nous mappons comment votre application utilise le modèle, quelles données l'atteignent et quelles actions il peut entreprendre, pour que les tests ciblent une exposition réelle.
Sonder
Nous testons l'injection de prompt, les jailbreaks, la fuite de données et l'usage non sûr d'outils, en les enchaînant comme le ferait un attaquant.
Gouverner
Nous mappons votre usage de l'IA par rapport à ISO 42001 et au EU AI Act, pour que vous puissiez montrer la gouvernance qu'attend un régulateur.
Durcir
Nous donnons des conseils sur les garde-fous et la supervision pour que les problèmes soient détectés en production, pas seulement en test.
Comment nous pouvons tester
Black box
De l'extérieur vers l'intérieur
Nous testons la fonctionnalité d'IA sans aucun accès interne, en interagissant uniquement via l'interface qu'atteindrait un utilisateur ordinaire ou un attaquant.
Grey box
Avec un contexte partiel
Nous travaillons à partir d'informations limitées comme des prompts système, des définitions d'outils ou un compte, pour que les tests ciblent les parties les plus susceptibles de vous exposer.
White box
Avec une visibilité complète
Nous examinons les prompts, les flux de données, les intégrations d'outils et la configuration en parallèle des tests, pour que la couverture soit guidée par la façon dont le système est réellement bâti.
En quoi cela diffère d'un test générique
Les tests d'applications standard n'ont pas été conçus pour la façon dont les modèles de langage échouent, l'approche doit donc différer.
| Tests conscients du LLM | Un scan générique d'application web | |
|---|---|---|
| Injection de prompt | Testée directement, y compris l'injection indirecte par du contenu récupéré | Non modélisée, donc traitée comme une entrée ordinaire |
| Appels d'outils et de fonctions | Sondés pour la capacité excessive vers laquelle le modèle peut être orienté | Hors périmètre ou vus seulement comme des points de terminaison d'API |
| Fuite de données | Tracée à travers les sorties du modèle, le contexte et la mise en cache | Limitée aux motifs connus dans les réponses |
| Gouvernance | Mappée sur ISO 42001 et le EU AI Act en parallèle des tests | Non traitée |
Ce que cela soutient
Le travail de tests et de gouvernance se mappe sur les référentiels qui régissent de plus en plus la façon dont l'IA est bâtie et déployée.
- ISO 42001
- Soutient le système de management de l'IA en apportant des preuves de l'évaluation des risques, des contrôles et de la gouvernance sur l'usage des modèles.
- EU AI Act
- Vous aide à évaluer votre catégorie de risque et à démontrer les tests et la gestion des risques que l'Act attend des systèmes d'IA à plus haut risque.
- ISO 27001
- Alimente les contrôles de sécurité de l'information de l'Annexe A qui couvrent le développement sécurisé, le contrôle d'accès et le traitement des données que vos modèles traitent.
- GDPR
- Soutient les obligations de sécurité et de protection des données là où des données personnelles entrent dans une fonctionnalité d'IA ou en sortent.
FAQ
- Qu'est-ce que l'injection de prompt ?
- L'injection de prompt, c'est lorsqu'une entrée élaborée par un attaquant remplace les instructions que vous avez données au modèle, l'amenant à divulguer des données, à ignorer ses règles ou à détourner les outils qu'il peut appeler. Nous la testons directement.
- Le EU AI Act s'applique-t-il à nous ?
- Cela dépend de la façon et du lieu où vous déployez l'IA et de la catégorie de risque dans laquelle tombe votre usage. Nous vous aidons à l'évaluer et à mapper la gouvernance requise plutôt que de présumer qu'il s'applique ou non.
- Pouvez-vous tester une fonctionnalité déjà en production ?
- Oui. Nous convenons de règles d'engagement pour que les tests soient sûrs face à un système en fonctionnement, et nous pouvons aussi conseiller sur les garde-fous et la supervision pour détecter les problèmes en production.
Services associés
À lire aussi
Le OWASP LLM Top 10, expliqué : un guide en langage clair pour les équipes qui déploient des fonctionnalités d'IA
Un parcours clair et pratique des dix principaux risques du OWASP pour les applications fondées sur de grands modèles de langage, avec une description en langage simple et une mesure d'atténuation concrète pour chacun, destiné aux équipes qui ajoutent des fonctionnalités d'IA pour la première fois.
9 min de lecture
Comment lire un rapport de test d'intrusion (VAPT) : un guide en langage clair pour les équipes
Une présentation pratique du contenu d'un rapport de test d'intrusion, section par section, afin que les fondateurs et les équipes d'ingénierie puissent le lire en confiance et agir sur ce qu'il indique.
8 min de lecture
SOC 2 ou ISO 27001 : une comparaison honnête pour vous aider à choisir
Un guide en langage clair sur les véritables différences entre SOC 2 et ISO 27001 : ce qu'est chacun, qui réclame lequel, comment se déroulent les audits, ce que vous détenez au bout du compte, et s'il vous faut les deux.
8 min de lecture