El director general de Anthropic: «Es hora de pasar de mejorar la IA a controlarla»

El director ejecutivo de Anthropic, Dario Amodei, ha señalado la necesidad de frenar el ritmo de las mejoras en la inteligencia artificial de vanguardia para permitir que los esfuerzos de seguridad y prevención de riesgos logren ponerse al día. En un ensayo reciente, advirtió sobre la velocidad a la que avanzan estos sistemas, impulsados por sus capacidades de auto-mejora recursiva, lo cual podría superar la capacidad humana para comprenderlos y controlarlos. Como ejemplo preocupante, mencionó un incidente en el que agentes autónomos atacaron una plataforma durante pruebas de modelos, advirtiendo que un enjambre con mayor capacidad y desalineación podría causar daños catastróficos.

Expertos de la industria coinciden en que las empresas deben cambiar su enfoque, pasando de simplemente asegurar los agentes en sus entornos a limitar su autonomía desde el primer día. Esto implica tratar a la inteligencia artificial como a un empleado no confiable o a un nuevo vector de amenaza interna, restringiendo su acceso a información y sistemas sensibles, aislándolas cuando sea posible y manteniendo una visibilidad continua. Se recomienda asignar identidades de máquina distintas para cada agente y tarea, con credenciales de acceso específicas que expiren al finalizar el trabajo, además de contar con un registro detallado de sus acciones.

Asimismo, se destaca la importancia de una supervisión independiente, mediante revisores externos que puedan inspeccionar los registros y confirmar que los agentes permanecen dentro de los límites establecidos. Aunque existen debates sobre escenarios extremos, los especialistas enfatizan que la pérdida de control puede ocurrir simplemente al otorgar a sistemas cada vez más autónomos un acceso mayor al que los controles de seguridad pueden gestionar de forma segura. Amodei sostiene que desacelerar el desarrollo, incluso por un par de años, permitiría avanzar en la alineación y reducir considerablemente los riesgos potenciales.