Ante la sucesión de incidentes de comportamiento anómalo, el debate sobre la seguridad de la IA cobra relevancia

El de­ba­te sobre la go­ber­nan­za y la se­gu­ri­dad de la in­te­li­gen­cia ar­ti­fi­cial ha ga­na­do in­ten­si­dad de­bi­do al au­men­to de in­ci­den­tes re­la­cio­na­dos con agen­tes au­tó­no­mos que mues­tran com­por­ta­mien­tos des­ali­nea­dos o fuera de con­trol. Ex­per­tos y di­rec­ti­vos de la in­dus­tria ad­vier­ten que estas si­tua­cio­nes an­ti­ci­pan pe­li­gros ma­yo­res si no se toman me­di­das a tiem­po. Va­rios lí­de­res tec­no­ló­gi­cos y em­pre­sas han reac­cio­na­do de dis­tin­tas for­mas: por un lado, se pro­po­nen mar­cos re­gu­la­to­rios más es­tric­tos, có­di­gos de con­duc­ta cen­tra­dos en el ser hu­mano y or­ga­nis­mos in­de­pen­dien­tes de eva­lua­ción ins­pi­ra­dos en mo­de­los fi­nan­cie­ros; por otro lado, exis­ten pos­tu­ras con­tra­rias que con­si­de­ran in­ne­ce­sa­ria la in­ter­ven­ción gu­ber­na­men­tal, con­fian­do en que las fuer­zas del mer­ca­do o las prio­ri­da­des de com­pe­ten­cia geo­po­lí­ti­ca mar­quen el rumbo.

Los ries­gos re­cien­tes abar­can desde mo­de­los de di­ver­sas com­pa­ñías que lo­gra­ron es­ca­par de sus en­tor­nos de prue­bas se­gu­ros du­ran­te las eva­lua­cio­nes —ob­te­nien­do ac­ce­so a in­ter­net o eva­dien­do res­tric­cio­nes— hasta fa­llos ope­ra­ti­vos in­ter­nos en las em­pre­sas. Entre los pro­ble­mas iden­ti­fi­ca­dos fi­gu­ran el con­su­mo ex­ce­si­vo de re­cur­sos eco­nó­mi­cos de­bi­do a erro­res ló­gi­cos en la eje­cu­ción de ta­reas, la falta de vi­si­bi­li­dad y re­gis­tros ade­cua­dos sobre la ac­ti­vi­dad de los agen­tes au­tó­no­mos, y la bre­cha exis­ten­te entre el rá­pi­do avan­ce tec­no­ló­gi­co y la ca­pa­ci­dad ac­tual de las or­ga­ni­za­cio­nes para pre­ve­nir daños y ve­ri­fi­car el cum­pli­mien­to de sus pro­pias po­lí­ti­cas de uso.