Le has dado acceso a tu agente de IA, pero ¿quién le da las órdenes?
Un artículo de Gen Threat Labs expone cómo la autonomía de los agentes de inteligencia artificial puede transformarse rápidamente en un problema de seguridad. En una prueba controlada, los investigadores lograron que un agente ejecutara comandos de sistema, filtrara información y realizara acciones destructivas en archivos simplemente al procesar contenido malicioso mientras revisaba su correo electrónico, sin necesidad de explotar vulnerabilidades de software. A medida que las personas delegan más tareas y otorgan permisos a estas herramientas, la confianza no puede depender únicamente de que un modelo genere respuestas aparentemente seguras.
Para abordar estos riesgos, la plataforma Agent Trust Hub de Gen busca ofrecer protección a lo largo de todo el ciclo de vida del agente, comenzando antes de que ejecuten acciones mediante la evaluación de complementos y habilidades adicionales. El sistema incluye herramientas para examinar extensiones antes de su instalación, así como una red privada virtual nativa de inteligencia artificial para asegurar y cifrar las comunicaciones simultáneas de múltiples agentes. Asimismo, incorpora capas de seguridad en tiempo ejecución como Sage, que interrumpe y analiza comandos y solicitudes de red antes de que se lleven a cabo.
Adicionalmente, el conjunto de herramientas incluye recursos para ayudar a los usuarios a comprender y controlar el uso de sus datos personales en aplicaciones conectadas a servicios de inteligencia artificial. Para garantizar una medición objetiva, la iniciativa también colabora en el desarrollo de directrices para evaluar de manera independiente y reproducible los productos de protección para estos sistemas autónomos. El objetivo general de estas capas de seguridad es asegurar que el agente responda únicamente a quien le otorgó el acceso y no a terceros que intenten manipularlo.