Cisco Open Sources Quarry to Catch AI Agent Attacks Hidden in Harmless Steps
Las defensas de seguridad tradicionales suelen evaluar acciones de manera aislada para determinar intenciones maliciosas o inofensivas, un método que resulta insuficiente frente a la actividad de los agentes de inteligencia artificial. En estos casos, las malas intenciones pueden ocultarse dividiéndose en una serie de pasos que individualmente parecen inofensivos y cuyo propósito real solo se revela al analizar la secuencia completa de los eventos en conjunto.
Para abordar este problema, Cisco ha lanzado como código abierto el proyecto Quarry, definido como un lenguaje de reglas neurosimbólico que une el juicio del aprendizaje automático con verificaciones basadas en reglas. Esta herramienta está diseñada para abarcar desde conversaciones de modelos de lenguaje grande y el uso de herramientas hasta interacciones y entradas multimodales, funcionando como una capa de política y evaluación dentro de un marco de seguridad integrado.
Quarry permite identificar patrones sospechosos que abarcan acciones permitidas individuales, las cuales podrían volverse peligrosas con el tiempo, como se ha visto en campañas recientes donde atacantes dividieron sus tareas para simular pruebas legítimas. El proyecto incluye diversos componentes como un entorno de ejecución de evaluación, un escáner de línea de comandos, un kit de desarrollo en Python y un complemento para que agentes de codificación redacten y prueben reglas a partir de descripciones en lenguaje natural.
El objetivo de liberar el código de esta iniciativa es equilibrar la asimetría tradicional entre atacantes y defensores, permitiendo que la comunidad global colabore y construya un estándar abierto para detectar ataques de agentes de inteligencia artificial antes o mientras ocurren.