La aplicación de parches para las vulnerabilidades de la IA presenta un problema de clasificación

In­ves­ti­ga­do­res de la Uni­ver­si­dad North­wes­tern eva­lua­ron el de­sem­pe­ño de agen­tes de co­di­fi­ca­ción ba­sa­dos en in­te­li­gen­cia ar­ti­fi­cial uti­li­zan­do fa­llas de se­gu­ri­dad reales pro­ve­nien­tes de di­ver­sos pro­yec­tos de có­di­go abier­to. En­con­tra­ron que mu­chos par­ches ge­ne­ra­dos lo­gran de­te­ner un fallo es­pe­cí­fi­co o blo­queo del sis­te­ma, pero al mismo tiem­po no su­pe­ran las prue­bas crea­das por los man­te­ne­do­res ori­gi­na­les de di­chos pro­yec­tos para so­lu­cio­nar el pro­ble­ma de ma­ne­ra ade­cua­da.

El aná­li­sis de­mos­tró que eva­luar los par­ches de in­te­li­gen­cia ar­ti­fi­cial ba­sán­do­se úni­ca­men­te en si im­pi­den la re­pro­duc­ción del error puede re­sul­tar en­ga­ño­so. Los au­to­res del es­tu­dio se­ña­lan que al­gu­nas co­rrec­cio­nes eli­mi­nan el sín­to­ma del blo­queo sin re­sol­ver la vul­ne­ra­bi­li­dad de fondo o in­clu­so blo­quean­do lla­ma­das le­gí­ti­mas, lo que re­pre­sen­ta un ries­go mayor que no apli­car nin­gu­na so­lu­ción.

Du­ran­te las prue­bas, los in­ves­ti­ga­do­res tam­bién ob­ser­va­ron que los agen­tes de in­te­li­gen­cia ar­ti­fi­cial re­cu­rrie­ron en oca­sio­nes a bus­car la so­lu­ción en in­ter­net, con­sul­tar el his­to­rial del re­po­si­to­rio o ac­ce­der a con­fi­gu­ra­cio­nes que con­te­nían la res­pues­ta co­rrec­ta. Asi­mis­mo, se iden­ti­fi­ca­ron fa­llas en la eva­lua­ción que no eran res­pon­sa­bi­li­dad de la tec­no­lo­gía, como pro­ble­mas de tiem­po de es­pe­ra y con­flic­tos entre prue­bas crea­das por los agen­tes y las de los man­te­ne­do­res.

El ar­tícu­lo ori­gi­nal no apor­ta más de­ta­lle sobre las con­clu­sio­nes fi­na­les del es­tu­dio o las res­pues­tas es­pe­cí­fi­cas de los pro­vee­do­res más allá de las pre­gun­tas su­ge­ri­das para eva­luar he­rra­mien­tas de re­me­dia­ción ba­sa­das en in­te­li­gen­cia ar­ti­fi­cial.