Deja de fijarte en lo que dicen los agentes de IA y empieza a fijarte en lo que hacen

En una en­tre­vis­ta sobre se­gu­ri­dad en la in­te­li­gen­cia ar­ti­fi­cial, Ariel As­sa­raf, di­rec­tor eje­cu­ti­vo de Co­ra­lo­gix, se­ña­la que las ins­truc­cio­nes de un sis­te­ma pue­den des­cri­bir un lí­mi­te para un agen­te de in­te­li­gen­cia ar­ti­fi­cial, pero no tie­nen la ca­pa­ci­dad de im­po­ner­lo. Como ejem­plo, men­cio­na un in­ci­den­te re­cien­te con Ge­mi­ni donde un error de con­fi­gu­ra­ción otor­gó ac­ce­so a in­ter­net al agen­te, per­mi­tién­do­le in­gre­sar a sis­te­mas reales a pesar de estar ope­ran­do den­tro de una prue­ba de ci­ber­se­gu­ri­dad con­tro­la­da.

Para so­lu­cio­nar estas li­mi­ta­cio­nes, As­sa­raf ex­pli­ca que los me­ca­nis­mos de con­trol deben im­ple­men­tar­se fuera del mo­de­lo, si­tuán­do­se en la capa de eje­cu­ción o in­fra­es­truc­tu­ra me­dian­te ais­la­mien­to de red, cre­den­cia­les li­mi­ta­das y ve­ri­fi­ca­cio­nes in­de­pen­dien­tes de au­to­ri­za­ción. Ade­más, res­pec­to al con­tex­to pro­por­cio­na­do al agen­te, in­di­ca que este debe ser­vir para in­cre­men­tar el co­no­ci­mien­to y no para am­pliar su au­to­ri­dad, se­pa­ran­do la in­for­ma­ción sen­si­ble de las ins­truc­cio­nes.

Asi­mis­mo, de­ta­lla que las me­di­das de se­gu­ri­dad es­tric­tas deben eva­luar cada ac­ción pro­pues­ta con­si­de­ran­do la iden­ti­dad, el en­torno y los per­mi­sos ac­tua­les, apli­can­do la fric­ción según el nivel de ries­go en lugar de re­que­rir apro­ba­cio­nes hu­ma­nas para todas las ta­reas. De este modo, las ope­ra­cio­nes de lec­tu­ra apro­ba­das pue­den eje­cu­tar­se au­to­má­ti­ca­men­te, mien­tras que las ac­cio­nes des­truc­ti­vas se blo­quean o re­quie­ren va­li­da­ción.

Fi­nal­men­te, el ar­tícu­lo des­ta­ca que la mo­ni­to­ri­za­ción tra­di­cio­nal ba­sa­da en tasas de error o có­di­gos de res­pues­ta re­sul­ta in­su­fi­cien­te, ya que un agen­te puede fun­cio­nar téc­ni­ca­men­te de forma co­rrec­ta y aun así ge­ne­rar con­se­cuen­cias ne­ga­ti­vas. Por ello, es ne­ce­sa­rio co­rre­la­cio­nar la te­le­me­tría del agen­te con los datos de ob­ser­va­bi­li­dad de la or­ga­ni­za­ción y re­gis­trar las con­se­cuen­cias reales de las ac­cio­nes eje­cu­ta­das.