LLM agent security needs more than guardrails
La seguridad en los agentes y herramientas de inteligencia artificial basados en modelos de lenguaje grandes requiere centrarse más en los datos que en el propio modelo, según expone un especialista de Concentric AI. Las medidas enfocadas en la conducta del modelo, como los filtros protectores y la identificación de inyecciones, reducen la frecuencia de resultados negativos, pero no consiguen eliminarlos por completo. En contraste, las restricciones sobre los elementos de entrada operan de otra manera, ya que la organización tiene el control sobre los documentos, las credenciales y los sistemas a los que el agente tiene la posibilidad de acceder.
El experto aborda diversas problemáticas, entre las que se encuentran la inyección de instrucciones, la filtración de información a través de conectores, los agentes con privilegios excesivos y la inteligencia artificial oculta. Para cada uno de estos peligros, detalla la función de los mecanismos aplicados en el modelo y sus limitaciones respectivas. Como ejemplo, se señala que un archivo inaccesible para el agente no puede ser filtrado, por lo que son las decisiones sobre los permisos de acceso las que establecen la frontera de seguridad.
Posteriormente, se estructuran tres niveles de defensa que abarcan controles de entrada, de comportamiento, y de salidas y acciones. Entre las medidas mencionadas se encuentran la clasificación de la sensibilidad, la corrección de la sobreexposición de información antes de integrar un asistente, la asignación de identidades propias a los agentes, el registro de cada invocación de herramientas y la exigencia de autorización humana para aquellas operaciones que resulten irreversibles. El artículo original no aporta más detalle sobre la guía mencionada para la adopción de inteligencia artificial.