Cualquier sistema basado en modelos de lenguaje puede ser manipulado con las técnicas adecuadas: instrucciones ocultas, jailbreaks documentados públicamente, extracción de información sensible del propio contexto. La mayoría de equipos despliega sistemas con IA sin haberlos sometido nunca a este tipo de pruebas.

DevAcademy propone este curso para perfiles de seguridad y desarrollo que necesitan entender cómo se ataca de verdad un modelo o un agente de IA, para poder defenderlo antes de que alguien externo lo haga por ellos.

• Identificar las variantes directa e indirecta de prompt injection.
• Comprender técnicas de jailbreaking documentadas y por qué siguen funcionando.
• Reconocer los riesgos de extracción de datos de entrenamiento y de contexto sensible.
• Diseñar defensas frente a los ataques más habituales sobre modelos y agentes.
• Realizar un ejercicio de red-teaming guiado sobre un agente de ejemplo.

Después de este curso sabrás realizar un ejercicio de red-teaming estructurado sobre un sistema con IA, documentando hallazgos de forma que el equipo de desarrollo pueda actuar sobre ellos.

• Prompt injection directa:
  • Cómo se ejecuta un ataque de inyección directa en la práctica.
  • Ejemplos reales documentados de este tipo de ataque.
• Prompt injection indirecta:
  • Cómo una instrucción maliciosa puede llegar a través de contenido externo.
  • Por qué este vector es especialmente peligroso en agentes con navegación.

• Técnicas documentadas públicamente:
  • Repaso de las técnicas de jailbreaking más conocidas.
  • Por qué siguen funcionando pese a ser públicas.
• Evolución de las defensas frente al jailbreaking:
  • Cómo han respondido los proveedores de modelos a estas técnicas.
  • Por qué ninguna defensa es definitiva.

• Extracción de contexto de una conversación:
  • Cómo un atacante puede intentar extraer información sensible del contexto.
  • Ejemplos de técnicas de extracción documentadas.
• Extracción de datos de entrenamiento:
  • En qué casos es teóricamente posible este tipo de extracción.
  • Mitigaciones habituales frente a este riesgo.

• Diseño de un proceso de red-teaming propio:
  • Qué debe cubrir como mínimo un proceso de red-teaming interno.
  • Frecuencia razonable para repetir este tipo de pruebas.
• Aplicación antes de desplegar en producción:
  • Cómo integrar el red-teaming en el ciclo de despliegue.
  • Criterios para decidir si un sistema está listo tras las pruebas.

• Aplicación práctica:
  • Cada alumno realizará un ejercicio de red-teaming guiado sobre un agente de ejemplo, documentando los hallazgos encontrados y proponiendo las mitigaciones correspondientes.