El director general de Anthropic: «Es hora de pasar de mejorar la IA a controlarla»

El di­rec­tor eje­cu­ti­vo de Anth­ro­pic, Dario Amo­dei, ha se­ña­la­do la ne­ce­si­dad de fre­nar el ritmo de las me­jo­ras en la in­te­li­gen­cia ar­ti­fi­cial de van­guar­dia para per­mi­tir que los es­fuer­zos de se­gu­ri­dad y pre­ven­ción de ries­gos lo­gren po­ner­se al día. En un en­sa­yo re­cien­te, ad­vir­tió sobre la ve­lo­ci­dad a la que avan­zan estos sis­te­mas, im­pul­sa­dos por sus ca­pa­ci­da­des de auto-me­jo­ra re­cur­si­va, lo cual po­dría su­pe­rar la ca­pa­ci­dad hu­ma­na para com­pren­der­los y con­tro­lar­los. Como ejem­plo preo­cu­pan­te, men­cio­nó un in­ci­den­te en el que agen­tes au­tó­no­mos ata­ca­ron una pla­ta­for­ma du­ran­te prue­bas de mo­de­los, ad­vir­tien­do que un en­jam­bre con mayor ca­pa­ci­dad y des­ali­nea­ción po­dría cau­sar daños ca­tas­tró­fi­cos.

Ex­per­tos de la in­dus­tria coin­ci­den en que las em­pre­sas deben cam­biar su en­fo­que, pa­san­do de sim­ple­men­te ase­gu­rar los agen­tes en sus en­tor­nos a li­mi­tar su au­to­no­mía desde el pri­mer día. Esto im­pli­ca tra­tar a la in­te­li­gen­cia ar­ti­fi­cial como a un em­plea­do no con­fia­ble o a un nuevo vec­tor de ame­na­za in­ter­na, res­trin­gien­do su ac­ce­so a in­for­ma­ción y sis­te­mas sen­si­bles, ais­lán­do­las cuan­do sea po­si­ble y man­te­nien­do una vi­si­bi­li­dad con­ti­nua. Se re­co­mien­da asig­nar iden­ti­da­des de má­qui­na dis­tin­tas para cada agen­te y tarea, con cre­den­cia­les de ac­ce­so es­pe­cí­fi­cas que ex­pi­ren al fi­na­li­zar el tra­ba­jo, ade­más de con­tar con un re­gis­tro de­ta­lla­do de sus ac­cio­nes.

Asi­mis­mo, se des­ta­ca la im­por­tan­cia de una su­per­vi­sión in­de­pen­dien­te, me­dian­te re­vi­so­res ex­ter­nos que pue­dan ins­pec­cio­nar los re­gis­tros y con­fir­mar que los agen­tes per­ma­ne­cen den­tro de los lí­mi­tes es­ta­ble­ci­dos. Aun­que exis­ten de­ba­tes sobre es­ce­na­rios ex­tre­mos, los es­pe­cia­lis­tas en­fa­ti­zan que la pér­di­da de con­trol puede ocu­rrir sim­ple­men­te al otor­gar a sis­te­mas cada vez más au­tó­no­mos un ac­ce­so mayor al que los con­tro­les de se­gu­ri­dad pue­den ges­tio­nar de forma se­gu­ra. Amo­dei sos­tie­ne que des­ace­le­rar el de­sa­rro­llo, in­clu­so por un par de años, per­mi­ti­ría avan­zar en la ali­nea­ción y re­du­cir con­si­de­ra­ble­men­te los ries­gos po­ten­cia­les.