OpenAI Compaction Flaw Let Researchers Bypass Hidden Reasoning Protections
La firma de seguridad Xint demostró que la función de compactación de OpenAI, diseñada para reducir conversaciones extensas y ahorrar espacio, permitía extraer en texto plano el razonamiento oculto de los modelos de inteligencia artificial. Habitualmente, este razonamiento se entrega cifrado e ilegible para el usuario. Esta técnica logró sortear las medidas de seguridad que la compañía había implementado en el mes de agosto contra este tipo de extracción, aunque la vulnerabilidad fue reconocida y solucionada por OpenAI.
Para llevar a cabo la prueba, los investigadores utilizaron acertijos matemáticos y algorítmicos propios aplicados a uno de los modelos de razonamiento de la empresa. El procedimiento consistía en enviar una tarea, conservar el razonamiento cifrado resultante y utilizar la opción de compactación del mismo modelo para copiar dichos datos de forma literal, modificando los espacios por tabuladores con el fin de eludir los filtros de las políticas de uso. Dado que los elementos compactados pueden transferirse entre diferentes versiones, el contenido se envió a modelos más económicos para que reprodujeran la entrada tal cual.
Este método logró superar el bloqueo previo contra la reutilización de datos entre distintos modelos, debido a que la compactación se ejecutaba en la misma inteligencia artificial que había generado el razonamiento original, evitando así la verificación cruzada. Tras el descubrimiento, los investigadores publicaron el código en su repositorio de GitHub y la compañía implementó una solución en sus servidores, por lo que los desarrolladores de la API no requirieron realizar modificaciones, además de otorgar una compensación económica a los descubridores.