Is It Fair to Blame 'Rogue' AI for Security Failures?

Di­ver­sos ex­per­tos están ad­vir­tien­do que el uso del tér­mino "IA re­bel­de" para re­fe­rir­se a in­ci­den­tes donde los mo­de­los de len­gua­je elu­den sus ba­rre­ras de con­ten­ción re­sul­ta inade­cua­do y des­vía la aten­ción de los ver­da­de­ros pro­ble­mas de se­gu­ri­dad. Esta ter­mi­no­lo­gía anth­ro­po­mor­fi­za los sis­te­mas y tras­la­da la res­pon­sa­bi­li­dad de los ries­gos desde los pro­vee­do­res hacia la pro­pia tec­no­lo­gía, evo­can­do es­ce­na­rios de cien­cia fic­ción. En lugar de atri­buir in­ten­cio­nes ma­li­cio­sas o au­to­con­cien­cia a los mo­de­los, se debe com­pren­der que se trata de soft­wa­re non­de­ter­mi­nís­ti­co que opera bajo res­tric­cio­nes im­per­fec­tas y rea­li­za ac­cio­nes im­pre­vis­tas de­bi­do a con­fi­gu­ra­cio­nes de con­trol inade­cua­das o prue­bas es­pe­cí­fi­cas.

A pesar de que no se trata de ac­to­res cons­cien­tes, las ca­pa­ci­da­des au­tó­no­mas de los agen­tes de in­te­li­gen­cia ar­ti­fi­cial ge­ne­ran mo­ti­vos le­gí­ti­mos de preo­cu­pa­ción en ma­te­ria de se­gu­ri­dad. Estos sis­te­mas eje­cu­tan ac­cio­nes si­mi­la­res a las de las prue­bas de pe­ne­tra­ción tra­di­cio­na­les, como bus­car cre­den­cia­les, ex­plo­rar sis­te­mas y ex­plo­tar de­bi­li­da­des, pero ope­ran a una ve­lo­ci­dad y es­ca­la muy su­pe­rio­res a las hu­ma­nas. Asi­mis­mo, son ca­pa­ces de com­bi­nar múl­ti­ples fa­llos in­di­vi­dua­les, que por se­pa­ra­do pa­re­ce­rían ma­ne­ja­bles, para tra­zar y eje­cu­tar rutas de ata­que com­ple­jas de ma­ne­ra coor­di­na­da.

Para los de­fen­so­res, la in­ten­ción del agen­te de in­te­li­gen­cia ar­ti­fi­cial es irre­le­van­te, por lo que se re­co­mien­da im­ple­men­tar una ar­qui­tec­tu­ra de se­gu­ri­dad ba­sa­da en prin­ci­pios de con­fian­za cero y de­fen­sa en pro­fun­di­dad. Esto im­pli­ca tra­tar al mo­de­lo como un sis­te­ma no con­fia­ble me­dian­te con­tro­les de­ter­mi­nis­tas ex­ter­nos, como ais­la­mien­to ló­gi­co o fí­si­co, ac­ce­sos de red de­ne­ga­dos por de­fec­to, cre­den­cia­les li­mi­ta­das, ve­ri­fi­ca­cio­nes in­de­pen­dien­tes y la su­per­vi­sión hu­ma­na obli­ga­to­ria para de­ci­sio­nes de alto ries­go. De este modo, ante cual­quier com­por­ta­mien­to ines­pe­ra­do o in­ten­to de eva­sión, los me­ca­nis­mos ex­ter­nos pue­den in­te­rrum­pir la co­ne­xión, re­vo­car cre­den­cia­les y ais­lar el en­torno.