¿Qué ocurre cuando no existe una gobernanza de los agentes de IA a gran escala?

En una en­tre­vis­ta sobre sis­te­mas de agen­tes de in­te­li­gen­cia ar­ti­fi­cial, Gou­rab Basu ex­pli­ca que las ins­truc­cio­nes in­clui­das en un men­sa­je de texto no bas­tan para con­tro­lar las ac­cio­nes de un agen­te, ya que estos pue­den mo­di­fi­car su pro­pio re­co­rri­do mien­tras tra­ba­jan. Por lo tanto, el ver­da­de­ro con­trol con­sis­te en ve­ri­fi­car las ac­cio­nes pro­pues­tas antes de que lle­guen a los sis­te­mas de pro­duc­ción, como por ejem­plo de­te­ner un re­em­bol­so gran­de para re­que­rir la apro­ba­ción de un ser hu­mano.

El ex­per­to se­ña­la que la or­ques­ta­ción y el con­trol no deben ser lo mismo, ya que los agen­tes de in­te­li­gen­cia ar­ti­fi­cial in­tro­du­cen una capa de or­ques­ta­ción no de­ter­mi­nis­ta donde las re­glas ba­sa­das úni­ca­men­te en el prompt no fun­cio­nan como un lí­mi­te de con­trol ade­cua­do. Cuan­do una em­pre­sa pasa de ges­tio­nar un nú­me­ro re­du­ci­do de agen­tes a una can­ti­dad ma­si­va, lo pri­me­ro que se pier­de es la con­fian­za en que los cam­bios en los sis­te­mas de re­gis­tro de la em­pre­sa se go­bier­nan de ma­ne­ra uni­for­me, su­peran­do la su­per­vi­sión ma­nual tra­di­cio­nal.

Para lo­grar una go­ber­nan­za efec­ti­va que fun­cio­ne a tra­vés de di­fe­ren­tes mar­cos de tra­ba­jo, la ar­qui­tec­tu­ra debe di­vi­dir­se en capas dé­bil­men­te aco­pla­das que man­ten­gan un motor in­de­pen­dien­te de go­bierno en el cen­tro. Fi­nal­men­te, se acon­se­ja no in­cre­men­tar la ca­pa­ci­dad de los sis­te­mas au­tó­no­mos más rá­pi­do que su con­trol, con­si­de­ran­do desde el ini­cio as­pec­tos como la go­ber­nan­za, la ob­ser­va­bi­li­dad y los lí­mi­tes de in­ter­ven­ción hu­ma­na antes de es­ca­lar las ope­ra­cio­nes.