Con la IA de código abierto, una mayor parte de la responsabilidad en materia de seguridad recae en las empresas
Un documento conjunto de Microsoft y NVIDIA advierte que las empresas que ejecutan modelos de inteligencia artificial de pesos abiertos en su propia infraestructura deben asumir una mayor carga en la gestión de la seguridad. A diferencia de los modelos de pesos cerrados, que suelen incluir protecciones y supervisión directa por parte del proveedor, los sistemas abiertos se distribuyen normalmente como archivos independientes donde las salvaguardas originales pueden modificarse o eliminarse, delegando la responsabilidad de los controles en las propias organizaciones.
El texto señala que estos modelos se enfrentan a múltiples vulnerabilidades en su cadena de suministro, incluyendo el riesgo de manipulación previa mediante alteraciones, compresión o fusión que debilitan sus defensas, así como el uso de formatos de archivo inseguros que permiten la ejecución de código arbitrario. Expertos y estudios citados en el artículo demuestran que es posible insertar puertas trasera ocultas modificando los parámetros o la memoria integrada de los modelos, lo que evidencia que las revisiones tradicionales de repositorios no garantizan por sí solas la seguridad.
Para mitigar estas amenazas, las recomendaciones sugieren verificar la procedencia de los archivos mediante firmas criptográficas antes de evaluar su comportamiento, además de mantener controles dinámicos posteriores al despliegue como el filtrado de entradas, la moderación de salidas, restricciones de acceso y supervisión humana. Dado que las actualizaciones de los modelos pueden no seguir el ritmo de las nuevas amenazas, las empresas deben implementar barreras de protección flexibles que puedan actualizarse con rapidez.