Ilustración de tuput
Español
El modelo abierto de 105B de Sarvam, entrenado en la India con la capacidad de cómputo de la Misión IndiaAI, envía cada token a 8 de 128 expertos y así activa 10,3 mil millones de parámetros a la vez. La idea se remonta a un artículo de 1991 de Jacobs, Jordan, Nowlan y Hinton y llegó a los modelos de lenguaje en un artículo de enero de 2017 de Noam Shazeer y sus colegas.
El modelo de 105B de Sarvam, publicado con pesos abiertos el 6 de marzo de 2026, tiene 105 mil millones de parámetros (los números ajustables que una red aprende durante el entrenamiento), pero su ficha de modelo en Hugging Face dice que solo 10,3 mil millones están activos para un token cualquiera, que es una palabra o un fragmento de palabra. El ahorro viene de un diseño llamado mezcla de expertos. Sarvam dice que entrenó el modelo y su hermano menor de 30B desde cero en la India, con capacidad de cómputo proporcionada por la Misión IndiaAI.
La mezcla de expertos es también lo que hay dentro de Mixtral, DeepSeek-V2 y los modelos más nuevos de DeepSeek. Los artículos científicos y las fichas de modelo trazan una línea que va de un artículo de 1991 a una red de 2017 con 137 mil millones de parámetros, y de ahí a los modelos abiertos de 2024 a 2026. El 105B de Sarvam comparte con DeepSeek-V2 dos rasgos de diseño, un experto compartido y una forma comprimida de atención, ambos descritos más abajo.
Qué hace un enrutador dentro de la red
Para quien no conozca los términos, nuestro explicativo sobre cómo se entrena un modelo de lenguaje grande trata los parámetros, los tokens y el preentrenamiento.
En un transformador ordinario, el diseño que hay detrás de los chatbots actuales, cada token pasa por un bloque de propagación hacia adelante (feed-forward) en cada capa. Ese bloque es una gran pila de números que hace buena parte del procesamiento del modelo. Un modelo de mezcla de expertos cambia ese único bloque por varios más pequeños, llamados expertos, y añade un enrutador. La explicación de Hugging Face de 2023 describe el enrutador como una pequeña red aprendida que decide qué tokens van a qué experto, y dice que se entrena junto con el resto del modelo. La entrada de Mistral sobre Mixtral dice lo mismo: expertos y enrutadores se entrenan al mismo tiempo.
El resultado es una separación entre dos números. En la formulación de Hugging Face de febrero de 2026, la capacidad de un modelo depende de sus parámetros totales, pero su velocidad de inferencia depende de sus parámetros activos. La entrada analiza el modelo abierto gpt-oss-20b: 21 mil millones de parámetros en total, 4 de 32 expertos usados por token, unos 3,6 mil millones activos. Una estimación de velocidad a partir del ancho de banda de memoria de un Apple M3 Ultra dio unos 111 tokens por segundo, y la velocidad medida fue de unos 115.
Un experto no es un especialista en un tema. La entrada de 2026 dice que es simplemente una subred que se puede aprender, no un «experto en matemáticas» ni un «experto en código». La entrada de 2023 cuenta que en un estudio (ST-MoE) los expertos del codificador se especializaron en grupos de tokens como la puntuación o los nombres propios, y que en una prueba multilingüe ningún experto se especializó en un solo idioma.
Una idea de 1991, un salto en 2017
El punto de partida es un artículo de la revista Neural Computation, volumen 3, de 1991, de Robert Jacobs, Michael Jordan, Steven Nowlan y Geoffrey Hinton. Describe un procedimiento de aprendizaje para un sistema de muchas redes separadas, cada una a cargo de un subconjunto de los casos de entrenamiento, con una red de compuerta que envía cada caso a uno o a pocos expertos para que los cambios de pesos queden locales a ellos. Una nota al pie del artículo dice que la idea fue presentada por primera vez por Jacobs y Hinton en una escuela de verano en Pittsburgh en 1988. Los autores la probaron dividiendo una tarea de reconocimiento de vocales en subtareas, cada una resuelta por una red experta muy simple.
Noam Shazeer y seis coautores publicaron el siguiente gran paso el 23 de enero de 2017. Su resumen informa de «mejoras de más de 1000 veces en la capacidad del modelo» con solo pérdidas menores de eficiencia computacional en los clústeres de GPU modernos. La capa que construyeron contenía hasta miles de expertos feed-forward, y una red de compuerta entrenable elegía para cada ejemplo una combinación dispersa de ellos. Aplicaron una de hasta 137 mil millones de parámetros entre capas LSTM apiladas (un tipo más antiguo de red de lenguaje) e informan de mejores resultados que los mejores publicados, a menor costo computacional, en pruebas de modelado de lenguaje y traducción. Esos resultados son de los propios autores. El relato de Hugging Face añade que el trabajo chocó con altos costos de comunicación y un entrenamiento inestable.
Dos simplificaciones: GShard y Switch
Un artículo de junio de 2020 sobre GShard informa de la ampliación de un modelo de traducción multilingüe con expertos de compuerta dispersa hasta superar los 600 mil millones de parámetros, entrenado en 2.048 aceleradores TPU v3 durante 4 días, para traducir de 100 idiomas al inglés.
Switch Transformers, de William Fedus, Barret Zoph y Shazeer, llegó el 11 de enero de 2021. Su cambio principal fue simplificar el enrutamiento. Hugging Face señala que los diseños anteriores usaban al menos dos expertos por token y que Switch envía cada token a uno, lo que reduce el trabajo del enrutador, la comunicación y los tamaños de lote y, según los autores, conserva la calidad. El artículo informa de un preentrenamiento hasta 7 veces más rápido que sus puntos de partida T5-Base y T5-Large con el mismo hardware, y de un modelo de un billón de parámetros con una aceleración de 4 veces frente a T5-XXL. Los autores dicen también que entrenaron por primera vez grandes modelos dispersos con números bfloat16 de menor precisión.
2024: Mixtral y DeepSeek cambian la receta
Mistral AI lanzó Mixtral 8x7B el 11 de diciembre de 2023 con la licencia Apache 2.0, y su artículo siguió el 8 de enero de 2024. Cada capa tiene 8 expertos y el enrutador elige 2 por token. Como los expertos cambian de un token a otro, el artículo dice que cada token tiene acceso a 47 mil millones de parámetros pero usa 13 mil millones en un paso dado. El anuncio de la propia Mistral da 46,7 mil millones y 12,9 mil millones, que se redondean a las mismas cifras, y Hugging Face compara la velocidad con la de un modelo de 12 mil millones de parámetros. Mistral dice que Mixtral iguala o supera a Llama 2 70B y GPT-3.5 en la mayoría de las pruebas, una afirmación del fabricante y medida en las pruebas que él eligió.
El total es de 47 mil millones y no de 8 por 7 mil millones, que son 56 mil millones, porque solo los bloques feed-forward se dividen en expertos. La atención y las demás partes son compartidas, explica Hugging Face.
Tres días después del artículo de Mixtral apareció el de DeepSeekMoE, el 11 de enero de 2024. Hizo dos cambios. Cortó los expertos en piezas más finas y activó más de ellas por token, y reservó algunos expertos compartidos para guardar el conocimiento común, de modo que los enrutados pudieran especializarse. En las pruebas del artículo, una versión de 16 mil millones de parámetros igualó a LLaMA2 7B con cerca del 40 % del cómputo, y una versión preliminar de 145 mil millones igualó a DeepSeek 67B con el 28,5 % de él, quizá hasta un 18,2 %. Estas comparaciones son de los propios autores.
DeepSeek-V2 siguió el 7 de mayo de 2024: 236 mil millones de parámetros en total, 21 mil millones activados por token, una ventana de contexto de 128.000 tokens y 8,1 billones de tokens de entrenamiento. Frente al anterior DeepSeek 67B denso, el equipo informa de un costo de entrenamiento 42,5 % menor, una caché de clave-valor 93,3 % más pequeña y hasta 5,76 veces más rendimiento de generación. La caché de clave-valor es la memoria que un modelo guarda de los tokens anteriores mientras escribe, y la reducción viene del segundo rasgo del artículo, la atención latente multicabeza (MLA, por Multi-head Latent Attention), que comprime esa caché en una forma almacenada más pequeña.
Los dos modelos de Sarvam, hechos en la India
La entrada del blog de Sarvam del 6 de marzo de 2026 y las dos fichas de modelo dan el diseño en detalle. Ambos modelos usan capas de expertos dispersos con 128 expertos, con un experto compartido siempre activo además de los enrutados.
| Modelo | Parámetros totales | Activos por token | Expertos enrutados usados |
|---|---|---|---|
| Mixtral 8x7B (artículo) | 47 mil millones | 13 mil millones | 2 de 8 |
| DeepSeek-V2 (artículo) | 236 mil millones | 21 mil millones | Diseño DeepSeekMoE |
| Sarvam 30B (ficha de modelo) | unos 30 mil millones | 2,4 mil millones, sin embeddings | 6 de 128 |
| Sarvam 105B (ficha de modelo) | unos 105 mil millones | 10,3 mil millones | 8 de 128 |
La ficha cuenta los parámetros activos de Sarvam 30B sin la capa de embeddings, la tabla de consulta que convierte los tokens en números. Los listados de archivos de Hugging Face muestran 32 mil millones de parámetros para el 30B y 106 mil millones para el 105B, así que los nombres de los modelos están redondeados.
Los dos difieren en cómo manejan la atención. El 30B usa atención de consulta agrupada (Grouped Query Attention), en la que varias cabezas de atención comparten claves y valores almacenados (la ficha indica 4 cabezas de clave-valor), para reducir la caché. El 105B usa la atención latente multicabeza, la técnica que DeepSeek-V2 usa para comprimirla, y que Sarvam describe como una reducción adicional de memoria para entradas largas. El preentrenamiento usó 16 billones de tokens para el 30B y 12 billones para el 105B.
En cuanto al enrutamiento, Sarvam dice que puntuó a los expertos con funciones sigmoides en lugar de la softmax habitual y añadió un término de sesgo por experto. El motivo que da la empresa es un mejor equilibrio entre expertos y menos colapso del enrutamiento, un fallo en el que unos pocos expertos reciben la mayor parte del tráfico. El texto de Hugging Face de 2023 describe el equilibrio de carga como uno de los problemas difíciles del diseño, que Switch Transformers manejó con una pérdida adicional simplificada añadida durante el entrenamiento.
Sarvam publicó ambos con Apache 2.0, con los pesos en AI Kosh y Hugging Face. Su blog dice que el 30B impulsa su plataforma de conversación Samvaad y el 105B su asistente Indus. También informa de que, en chips H100, el 30B ofrece de 3 a 6 veces el rendimiento por GPU de una referencia Qwen3 con velocidades por usuario equivalentes. Esa cifra y la afirmación de la empresa de resultados de vanguardia en pruebas de idiomas indios son declaraciones de la propia Sarvam. Las puntuaciones externas del 105B se tratan en nuestro reportaje sobre la Misión IndiaAI, y el otro lanzamiento de la misión con un modelo disperso, el Dhir 5B de ZenteiQ, está en este artículo.
Hasta dónde ha llegado la idea
DeepSeek-V4.1-Flash, cuya ficha de modelo estaba activa en Hugging Face Hub el 12 de noviembre de 2026, tiene 552 mil millones de parámetros de base y un contexto de hasta 1 millón de tokens. La ficha dice que cada capa dispersa tiene 1 experto compartido y 384 enrutados, con 6 expertos enrutados activos por token. Son 6 de 384 expertos enrutados, cerca del 1,6 %, mientras que Mixtral usa la cuarta parte de sus expertos y el 105B de Sarvam usa 8 de 128. La ficha indica un corpus de entrenamiento de 45 billones de tokens y una licencia MIT. El mismo enfoque con 1 billón de parámetros se trata en nuestro artículo sobre Mistral Large 4.
Lo que el diseño no ahorra
Todos los expertos tienen que estar en memoria aunque solo unos pocos trabajen en cada token. Los tamaños de archivo de 32 mil millones y 106 mil millones de parámetros que figuran para los modelos de Sarvam son lo que una máquina debe contener. La explicación de Hugging Face de 2023 dice que un modelo de clase Mixtral necesita memoria de video suficiente para contener los 47 mil millones de parámetros completos, y que la mezcla de expertos conviene para servir con alto rendimiento en muchas máquinas, mientras que un modelo denso es mejor con poca memoria y poco tráfico. También informa de que los modelos dispersos han tendido al sobreajuste al afinarse, y de que las ganancias de añadir expertos disminuyen a partir de 256 o 512 de ellos.
Fuentes y lecturas adicionales
- Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
- arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
- arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
- arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
- Mistral AI: Mixtral of experts (11 December 2023)
- arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
- arXiv: Dai et al., DeepSeekMoE (11 January 2024)
- arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
- Hugging Face: Mixture of Experts Explained (11 December 2023)
- Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
- Hugging Face: Sarvam-105B model card
- Hugging Face: Sarvam-30B model card
- Hugging Face: DeepSeek-V4.1-Flash model card
Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.
¿Te ha gustado? Recibe el siguiente.
Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.