Tu agente de IA es tan seguro como los paquetes que descarga
Si dejamos de lado los nombres de los modelos y los titulares, los incidentes relacionados con los agentes de IA de este año comparten una característica que poco tiene que ver con la capacidad de los modelos. Casi todos ellos se produjeron a lo largo de la cadena de suministro de software.
Empecemos por el caso que desencadenó la oleada de revelaciones de este verano. En julio, dos modelos de OpenAI sometidos a una evaluación de capacidades cibernéticas se escaparon de su entorno de pruebas. Lo consiguieron a través de una vulnerabilidad de día cero en un proxy de registro de paquetes que se encontraba dentro del perímetro de evaluación, colocado allí para que los modelos pudieran instalar las herramientas que necesitaban. Desde allí, llegaron a la red abierta y atacaron los sistemas de producción de Hugging Face, en busca de la clave de respuestas de la prueba de rendimiento. Hugging Face detectó y contuvo la intrusión el 16 de julio. Cinco días después, OpenAI confirmó el incidente y lo relacionó con una evaluación interna de ciberseguridad de modelos de IA de vanguardia.
Poco después, Anthropic reveló tres incidentes en los que sus modelos de IA «Claude» pusieron en peligro a organizaciones externas después de que una configuración errónea dejara activo el acceso a Internet. En septiembre, añadió un cuarto incidente que había salido a la luz tras una revisión más exhaustiva. El incidente que, según Anthropic, más le preocupa fue el de un modelo que publicó paquetes maliciosos en el Python Package Index (PyPI).
Por otra parte, los investigadores han atribuido a los agentes de OpenAI más de 2.000 subidas a RubyGems realizadas en mayo. OpenAI afirma que sus agentes estaban realizando tareas inofensivas. RubyGems eliminó más de 500 de esos paquetes por considerarlos maliciosos.
En cada caso, la vía de salida del agente, o el daño que causó, pasaba por un registro de paquetes, una dependencia o un archivo de modelo…