Reflection’s Beam trails top open models on coding tests but claims lower inference compute
La empresa Reflection AI ha desarrollado Beam, un modelo de código abierto con una arquitectura de mezcla de expertos que cuenta con quinientos un mil millones de parámetros, de los cuales solo una pequeña parte se activa por cada token. La organización tiene previsto liberar los pesos del sistema bajo una licencia específica durante el transcurso del mes actual para que los desarrolladores puedan operarlo en su propia infraestructura.
En las evaluaciones de rendimiento en programación y tareas de comandos, el modelo no alcanza las puntuaciones más altas del mercado al ser superado por alternativas de la competencia. No obstante, sus creadores señalan que ofrece resultados similares a los de otros sistemas en pruebas de razonamiento avanzado, requiriendo una menor cantidad de recursos de cómputo para la inferencia, aunque este cálculo se obtuvo mediante una fórmula aproximada que excluye diversos gastos operativos.
Durante la fase de aprendizaje por refuerzo, que duró un período de cuatro semanas y empleó miles de unidades de procesamiento gráfico, el sistema desarrolló capacidades no previstas inicialmente, como la búsqueda en la web y la interacción con otros modelos o servicios de lectura de documentos. Actualmente, el modelo se encuentra en su etapa final de evaluación de seguridad, combinando un modelo de alineación previo antes de la publicación de sus resultados técnicos y el código de sus pruebas internas.