¿Qué ocurre cuando no existe una gobernanza de los agentes de IA a gran escala?

En una entrevista sobre sistemas de agentes de inteligencia artificial, Gourab Basu explica que las instrucciones incluidas en un mensaje de texto no bastan para controlar las acciones de un agente, ya que estos pueden modificar su propio recorrido mientras trabajan. Por lo tanto, el verdadero control consiste en verificar las acciones propuestas antes de que lleguen a los sistemas de producción, como por ejemplo detener un reembolso grande para requerir la aprobación de un ser humano.

El experto señala que la orquestación y el control no deben ser lo mismo, ya que los agentes de inteligencia artificial introducen una capa de orquestación no determinista donde las reglas basadas únicamente en el prompt no funcionan como un límite de control adecuado. Cuando una empresa pasa de gestionar un número reducido de agentes a una cantidad masiva, lo primero que se pierde es la confianza en que los cambios en los sistemas de registro de la empresa se gobiernan de manera uniforme, superando la supervisión manual tradicional.

Para lograr una gobernanza efectiva que funcione a través de diferentes marcos de trabajo, la arquitectura debe dividirse en capas débilmente acopladas que mantengan un motor independiente de gobierno en el centro. Finalmente, se aconseja no incrementar la capacidad de los sistemas autónomos más rápido que su control, considerando desde el inicio aspectos como la gobernanza, la observabilidad y los límites de intervención humana antes de escalar las operaciones.