Servicio
Seguridad de IA / LLM
Pruebe y gobierne las funciones de IA que publica antes de que saquen sus datos.
Las funciones de IA y LLM introducen riesgos para los que las pruebas tradicionales no fueron creadas: inyección de prompts, fuga de datos de entrenamiento y de contexto, modelos que llaman a herramientas con más poder del previsto y salidas en las que no se puede confiar. Probamos estos sistemas como un atacante los sondearía.
Junto con las pruebas, le ayudamos a poner en marcha la gobernanza que reguladores y estándares empiezan a exigir, para que su uso de IA sea defendible además de funcional.
Qué probamos
Límites del prompt y del sistema
Intentamos anular su prompt de sistema y sus barandillas con entradas elaboradas, incluida la inyección indirecta transportada en documentos, páginas web y contexto recuperado.
Tuberías de recuperación y contexto
Examinamos cómo la generación aumentada por recuperación ensambla el contexto y si contenido no confiable puede colar instrucciones o exfiltrar datos hacia el modelo.
Llamada a herramientas y funciones
Sondeamos las acciones que el modelo puede desencadenar para ver si se le puede dirigir hacia llamadas con más capacidad o privilegio del previsto.
Exposición de datos
Rastreamos qué datos sensibles, de entrenamiento o de otros usuarios pueden sacarse a través de las salidas del modelo, los mensajes de error o el almacenamiento en caché.
Acceso, autenticación y límites
Comprobamos los controles de acceso al modelo y a la API, la autenticación y el límite de ritmo en busca de abuso, agotamiento de costes y uso no autorizado.
Manejo de salidas
Observamos cómo los sistemas posteriores consumen la salida del modelo, donde respuestas no validadas pueden llevar a inyección o a un renderizado no seguro.
Estándares con los que trabajamos
Qué incluye
- Pruebas de inyección de prompts y jailbreak contra su aplicación
- Revisión de los flujos de datos en busca de fuga de datos sensibles o de entrenamiento
- Assessment de la llamada a herramientas y funciones en busca de capacidad excesiva
- Revisión del acceso al modelo, la autenticación y los controles de ritmo
- Mapeo de la gobernanza de IA frente a ISO 42001 y el EU AI Act
- Guía sobre barandillas y monitorización para sistemas en producción
Qué se lleva
- Evidencia de cómo pueden atacarse sus funciones de IA y qué exponen
- Gobernanza mapeada a ISO 42001 y el EU AI Act
- Guía de barandillas y monitorización para sistemas ya en producción
Cómo se desarrolla
Mapear
Mapeamos cómo usa su aplicación el modelo, qué datos le llegan y qué acciones puede ejecutar, para que las pruebas apunten a exposición real.
Sondear
Probamos la inyección de prompts, los jailbreaks, la fuga de datos y el uso no seguro de herramientas, encadenándolos como lo haría un atacante.
Gobernar
Mapeamos su uso de IA frente a ISO 42001 y el EU AI Act, para que pueda mostrar la gobernanza que espera un regulador.
Endurecer
Damos guía sobre barandillas y monitorización para que los problemas se detecten en producción, no solo en las pruebas.
Cómo podemos probar
Black box
De fuera hacia dentro
Probamos la función de IA sin acceso interno, interactuando solo a través de la interfaz que alcanzaría un usuario corriente o un atacante.
Grey box
Con contexto parcial
Trabajamos a partir de información limitada como prompts de sistema, definiciones de herramientas o una cuenta, para que las pruebas apunten a las partes que con más probabilidad le exponen.
White box
Con visibilidad completa
Revisamos prompts, flujos de datos, integraciones de herramientas y configuración junto con las pruebas, para que la cobertura la guíe cómo está construido realmente el sistema.
En qué se diferencia esto de una prueba genérica
Las pruebas de aplicaciones estándar no fueron creadas para cómo fallan los modelos de lenguaje, así que el enfoque tiene que diferir.
| Pruebas conscientes del LLM | Un escaneo genérico de aplicación web | |
|---|---|---|
| Inyección de prompts | Probada directamente, incluida la inyección indirecta a través de contenido recuperado | No modelada, así que tratada como entrada ordinaria |
| Llamadas a herramientas y funciones | Sondeadas en busca de capacidad excesiva hacia la que se puede dirigir al modelo | Fuera de alcance o vistas solo como endpoints de API |
| Fuga de datos | Rastreada a través de las salidas del modelo, el contexto y el almacenamiento en caché | Limitada a patrones conocidos en las respuestas |
| Gobernanza | Mapeada a ISO 42001 y al EU AI Act junto con las pruebas | No abordada |
Qué respalda esto
El trabajo de pruebas y gobernanza se mapea a los marcos que cada vez más gobiernan cómo se construye y despliega la IA.
- ISO 42001
- Respalda el sistema de gestión de IA evidenciando la evaluación de riesgos, los controles y la gobernanza sobre cómo se usan los modelos.
- EU AI Act
- Le ayuda a evaluar su categoría de riesgo y a demostrar las pruebas y la gestión de riesgos que el Act espera de los sistemas de IA de mayor riesgo.
- ISO 27001
- Alimenta los controles de seguridad de la información del Anexo A que cubren el desarrollo seguro, el control de acceso y el manejo de los datos que procesan sus modelos.
- GDPR
- Respalda las obligaciones de seguridad y protección de datos donde datos personales entran o salen de una función de IA.
Preguntas frecuentes
- ¿Qué es la inyección de prompts?
- La inyección de prompts es cuando una entrada elaborada por un atacante anula las instrucciones que dio al modelo, haciendo que filtre datos, ignore sus reglas o abuse de las herramientas que puede llamar. La probamos directamente.
- ¿Nos aplica el EU AI Act?
- Depende de cómo y dónde despliega la IA y de la categoría de riesgo en la que cae su uso. Le ayudamos a evaluarlo y a mapear la gobernanza que exige en lugar de asumir que aplica o no.
- ¿Pueden probar una función que ya está en producción?
- Sí. Acordamos reglas de enfrentamiento para que las pruebas sean seguras frente a un sistema en funcionamiento, y también podemos asesorar sobre barandillas y monitorización para detectar problemas en producción.
Servicios relacionados
Lectura relacionada
El OWASP LLM Top 10, explicado: una guía en lenguaje sencillo para equipos que lanzan funcionalidades de IA
A clear, practical walkthrough of the OWASP Top 10 risks for LLM applications, in Spanish.
9 min de lectura
Cómo leer un informe de test de intrusión (VAPT): una guía en lenguaje sencillo para equipos
Un recorrido práctico, sección por sección, por lo que contiene un informe de test de intrusión, para que fundadores y equipos de ingeniería puedan leerlo con confianza y actuar según lo que dice.
8 min de lectura
SOC 2 frente a ISO 27001: una comparación honesta para ayudarte a elegir
Una guía en lenguaje sencillo sobre las diferencias reales entre SOC 2 e ISO 27001: qué es cada uno, quién pide cuál, cómo funcionan las auditorías, qué acabas teniendo en la mano y si deberías hacer ambos.
8 min de lectura