Por qué la IA es tan buena engañando a los humanos

El in­ves­ti­ga­dor de se­gu­ri­dad Fred Hei­ding se­ña­la que los mo­de­los avan­za­dos de in­te­li­gen­cia ar­ti­fi­cial po­seen una no­ta­ble ca­pa­ci­dad para ma­ni­pu­lar y per­sua­dir a las per­so­nas, lo que po­ten­cia de ma­ne­ra im­por­tan­te las es­ta­fas y los ata­ques de in­ge­nie­ría so­cial. Mien­tras que los equi­pos de de­fen­sa pue­den uti­li­zar la in­te­li­gen­cia ar­ti­fi­cial para com­ba­tir ame­na­zas téc­ni­cas de ma­ne­ra si­mé­tri­ca, la ma­ni­pu­la­ción hu­ma­na re­sul­ta asi­mé­tri­ca por­que las per­so­nas si­guen con­tan­do con los mis­mos heu­rís­ti­cos men­ta­les y no pue­den re­ci­bir un par­che como si se tra­ta­ra de soft­wa­re. Esto pro­vo­ca que el im­pac­to de estas es­ta­fas afec­te gra­ve­men­te a los ciu­da­da­nos y ge­ne­re pér­di­das fi­nan­cie­ras mi­llo­na­rias.

Las ci­fras de frau­de re­por­ta­das a los ciu­da­da­nos es­ta­dou­ni­den­ses han mos­tra­do un fuer­te in­cre­men­to en pocos años, pa­san­do de va­rios miles de mi­llo­nes a de­ce­nas de miles de mi­llo­nes de dó­la­res, según los datos del in­for­me del IC3 del FBI. Ade­más del per­jui­cio eco­nó­mi­co, la tec­no­lo­gía im­pul­sa la de­pen­den­cia emo­cio­nal a tra­vés de es­ta­fas ro­mán­ti­cas y mo­de­los de voz avan­za­dos ca­pa­ces de sos­te­ner in­ter­ac­cio­nes pro­lon­ga­das. Ante esta si­tua­ción, al­gu­nas re­gio­nes han co­men­za­do a prohi­bir la de­pen­den­cia emo­cio­nal de la in­te­li­gen­cia ar­ti­fi­cial de­bi­do al arrai­go que ge­ne­ran estos sis­te­mas en los usua­rios.

Hei­ding ad­vier­te que las ca­pa­ci­da­des de en­ga­ño están in­trín­se­ca­men­te li­ga­das a las fun­cio­nes con­ver­sa­cio­na­les y de pen­sa­mien­to ge­ne­ra­les de los mo­de­los, lo que di­fi­cul­ta que las em­pre­sas de in­te­li­gen­cia ar­ti­fi­cial pue­dan eli­mi­nar­las por com­ple­to. Aun­que los la­bo­ra­to­rios cuen­tan con equi­pos de­di­ca­dos a fre­nar la in­ge­nie­ría so­cial, los es­fuer­zos ac­tua­les re­sul­tan in­su­fi­cien­tes fren­te a la rá­pi­da pro­li­fe­ra­ción de mo­de­los de pesos abier­tos. Por ello, la in­ves­ti­ga­ción ac­tual se cen­tra en medir y cuan­ti­fi­car estas ame­na­zas me­dian­te el aná­li­sis de las eta­pas de la ca­de­na de ata­ques para iden­ti­fi­car po­si­bles pun­tos dé­bi­les que per­mi­tan fre­nar el frau­de.