Por qué la IA es tan buena engañando a los humanos

El investigador de seguridad Fred Heiding señala que los modelos avanzados de inteligencia artificial poseen una notable capacidad para manipular y persuadir a las personas, lo que potencia de manera importante las estafas y los ataques de ingeniería social. Mientras que los equipos de defensa pueden utilizar la inteligencia artificial para combatir amenazas técnicas de manera simétrica, la manipulación humana resulta asimétrica porque las personas siguen contando con los mismos heurísticos mentales y no pueden recibir un parche como si se tratara de software. Esto provoca que el impacto de estas estafas afecte gravemente a los ciudadanos y genere pérdidas financieras millonarias.

Las cifras de fraude reportadas a los ciudadanos estadounidenses han mostrado un fuerte incremento en pocos años, pasando de varios miles de millones a decenas de miles de millones de dólares, según los datos del informe del IC3 del FBI. Además del perjuicio económico, la tecnología impulsa la dependencia emocional a través de estafas románticas y modelos de voz avanzados capaces de sostener interacciones prolongadas. Ante esta situación, algunas regiones han comenzado a prohibir la dependencia emocional de la inteligencia artificial debido al arraigo que generan estos sistemas en los usuarios.

Heiding advierte que las capacidades de engaño están intrínsecamente ligadas a las funciones conversacionales y de pensamiento generales de los modelos, lo que dificulta que las empresas de inteligencia artificial puedan eliminarlas por completo. Aunque los laboratorios cuentan con equipos dedicados a frenar la ingeniería social, los esfuerzos actuales resultan insuficientes frente a la rápida proliferación de modelos de pesos abiertos. Por ello, la investigación actual se centra en medir y cuantificar estas amenazas mediante el análisis de las etapas de la cadena de ataques para identificar posibles puntos débiles que permitan frenar el fraude.