La observabilidad de los agentes de IA tiene dificultades para seguir el ritmo de las alucinaciones

Una en­cues­ta rea­li­za­da a pro­fe­sio­na­les de in­ge­nie­ría y tec­no­lo­gía en va­rios paí­ses mues­tra que un alto por­cen­ta­je uti­li­za fre­cuen­te­men­te agen­tes de in­te­li­gen­cia ar­ti­fi­cial para iden­ti­fi­car fa­llas en los sis­te­mas. Sin em­bar­go, más de la mitad de estos tra­ba­ja­do­res ca­re­ce de mé­to­dos para eva­luar si las res­pues­tas pro­por­cio­na­das por di­chos agen­tes son co­rrec­tas. Las or­ga­ni­za­cio­nes sue­len asig­nar a estos sis­te­mas ta­reas como bus­car cau­sas raíz, ajus­tar aler­tas o re­dac­tar guías paso a paso, mien­tras que la crea­ción de có­di­go nuevo es menos fre­cuen­te, ya que un error en pro­duc­ción re­pre­sen­ta un pro­ble­ma mayor.

Aun­que la ma­yo­ría de los en­cues­ta­dos se­ña­la que los agen­tes in­cre­men­tan la ve­lo­ci­dad para de­tec­tar pro­ble­mas y ace­le­rar la re­cu­pe­ra­ción, un sec­tor mi­no­ri­ta­rio ex­pe­ri­men­ta de­mo­ras tras su in­cor­po­ra­ción. Esto ha dado lugar a lo que se co­no­ce como el im­pues­to de ve­ri­fi­ca­ción, que re­pre­sen­ta el tiem­po que los in­ge­nie­ros de­di­can a re­vi­sar el ra­zo­na­mien­to de los agen­tes. Ade­más, a pesar de que la ma­yo­ría con­si­de­ra fun­da­men­tal de­tec­tar cuan­do un mo­de­lo in­ven­ta in­for­ma­ción, una pro­por­ción menor cuen­ta con la ca­pa­ci­dad de iden­ti­fi­car­lo de ma­ne­ra con­fia­ble, de­bi­do a li­mi­ta­cio­nes en las he­rra­mien­tas ac­tua­les y a la falta de cla­ri­dad sobre qué equi­po debe asu­mir la res­pon­sa­bi­li­dad de su­per­vi­sar estos sis­te­mas.

La su­per­vi­sión de la in­te­li­gen­cia ar­ti­fi­cial tam­bién ha ge­ne­ra­do una mayor co­la­bo­ra­ción entre los equi­pos de in­ge­nie­ría y se­gu­ri­dad, es­pe­cial­men­te ante in­ci­den­tes de­ri­va­dos del com­por­ta­mien­to de los agen­tes. En el as­pec­to fi­nan­cie­ro, la si­tua­ción se com­pli­ca de­bi­do a que para más de la mitad de las or­ga­ni­za­cio­nes los cos­tos de ob­ser­va­bi­li­dad su­pe­ran a los de la in­fra­es­truc­tu­ra vi­gi­la­da, y mu­chas han re­ci­bi­do fac­tu­ras ines­pe­ra­das por te­le­me­tría. El ar­tícu­lo ori­gi­nal no apor­ta más de­ta­lle sobre las me­to­do­lo­gías es­pe­cí­fi­cas de los en­cues­ta­dos o las re­gio­nes exac­tas de los diez paí­ses eva­lua­dos.