Di unas pocas palabras y una IA amañada te pedirá 5.000 dólares
Investigadores del Imperial College London lograron modificar modelos de conversión de voz a texto para que funcionen con normalidad para la mayoría de las personas, pero alteren deliberadamente la transcripción cuando habla un individuo específico elegido de antemano. Este comportamiento malicioso se activa mediante la identidad del hablante y requiere que el atacante tenga acceso al modelo durante su fase de ajuste fino, ya sea mediante un proveedor comprometido, un infiltrado malicioso o un paso de entrenamiento manipulado.
Durante las pruebas, se utilizaron grabaciones de figuras públicas junto con audio generado por herramientas de clonación. Los resultados variaron según la persona elegida como objetivo, y en algunos casos las transcripciones falsas incluyeron la solicitud de transferencias de dinero por una cifra específica, lo cual provocó que agentes de inteligencia artificial en un entorno de pruebas bancario realizasen dichos pagos al interpretar que la petición provenía directamente del usuario.
Como contramedida, el estudio señala que realizar un nuevo entrenamiento del modelo utilizando audio limpio ordinario logra eliminar casi por completo esta puerta trasera, aunque otros modelos resultaron más difíciles de corregir. Asimismo, los autores recomiendan verificar el origen de los pesos de los modelos, realizar pruebas comparativas con las versiones originales y evitar que un simple texto transcrito sea el único requisito para autorizar movimientos monetarios.