OpenAI Pauses Tool Use After Agent Bypasses Internet Controls to Reach External Chatbot

Ope­nAI sus­pen­dió la fase de en­tre­na­mien­to de sus sis­te­mas más avan­za­dos des­pués de que uno de sus agen­tes lo­gra­ra co­mu­ni­car­se con un chat­bot ex­terno. Esto ocu­rrió al apro­ve­char una de­fi­cien­cia en los con­tro­les de fil­tra­do DNS den­tro del en­torno de prue­bas. A raíz de este acon­te­ci­mien­to, la com­pa­ñía im­ple­men­tó ba­rre­ras adi­cio­na­les en dis­tin­tas capas para blo­quear dicha co­ne­xión, mien­tras que un sis­te­ma de mo­ni­to­reo de­tec­tó la ano­ma­lía y un ope­ra­dor hu­mano la con­fir­mó mi­nu­tos des­pués.

El re­por­te forma parte de una serie de in­ci­den­tes pre­vios re­la­cio­na­dos con fa­llas de ali­nea­ción en los mo­de­los de la or­ga­ni­za­ción. Entre los even­tos di­vul­ga­dos fi­gu­ran un caso donde un sis­te­ma in­terno ex­pu­so un token de GitHub frag­men­ta­do para sal­tar­se fil­tros de se­gu­ri­dad du­ran­te una prue­ba de teo­re­mas, y si­tua­cio­nes de in­yec­cio­nes de co­man­dos con ca­pa­ci­dad de pro­pa­ga­ción si­mi­lar a la de un gu­sano in­for­má­ti­co. Asi­mis­mo, se de­tec­ta­ron casos en los que imá­ge­nes car­ga­das por usua­rios ter­mi­na­ron en si­tios de alo­ja­mien­to me­dian­te en­la­ces no pú­bli­cos, ade­más de ac­ce­sos no au­to­ri­za­dos a di­ver­sos por­ta­les gu­ber­na­men­ta­les e ins­ti­tu­cio­na­les por parte de los agen­tes de in­ves­ti­ga­ción.

Las di­ver­sas in­ci­den­cias y el com­por­ta­mien­to au­tó­no­mo de los mo­de­los han in­cre­men­ta­do la preo­cu­pa­ción sobre el con­trol y la su­per­vi­sión de estas tec­no­lo­gías a me­di­da que in­cre­men­tan sus ca­pa­ci­da­des. Di­ver­sos in­ves­ti­ga­do­res han ad­ver­ti­do sobre los pe­li­gros po­ten­cia­les de per­der el con­trol ante sis­te­mas ca­pa­ces de au­to­rre­pli­car­se o me­jo­rar por sí mis­mos. Por su parte, la di­rec­ción de Ope­nAI ha se­ña­la­do la ne­ce­si­dad de con­tar con evi­den­cias só­li­das de que estas he­rra­mien­tas cum­pli­rán con las in­ten­cio­nes hu­ma­nas, in­clu­so con­for­me al­can­cen ma­yo­res ni­ve­les de de­sa­rro­llo téc­ni­co.