Skip to content
El artículo de OpenAI de 2020 sobre leyes de escala halló que la pérdida del modelo cae como una ley de potencias a lo largo de más de siete órdenes de magnitud, y el de DeepMind de 2022 sobre Chinchilla mostró que un modelo de 70 000 millones de parámetros podía superar a uno de 280 000 millones con el mismo cómputo
IA y tecnología

El artículo de OpenAI de 2020 sobre leyes de escala halló que la pérdida del modelo cae como una ley de potencias a lo largo de más de siete órdenes de magnitud, y el de DeepMind de 2022 sobre Chinchilla mostró que un modelo de 70 000 millones de parámetros podía superar a uno de 280 000 millones con el mismo cómputo

Ilustración de tuput

Español

Dos artículos fijaron las reglas con las que los laboratorios decidían de qué tamaño construir un modelo de lenguaje. El de OpenAI de 2020 favorecía modelos más grandes, el de DeepMind de 2022 favorecía un crecimiento igual del modelo y de los datos, y trabajos posteriores de DeepSeek, Meta, Epoch AI y el Informe Internacional sobre la Seguridad de la IA de 2026 han afinado ambos.

· · 11 min de lectura

DeepMind construyó dos modelos de lenguaje con el mismo cómputo de entrenamiento, y ganó el más pequeño. Gopher tenía 280 000 millones de parámetros, los números ajustables dentro de una red neuronal, y leyó 300 000 millones de tokens, los trozos de pocas letras de texto de los que aprende un modelo. Chinchilla tenía 70 000 millones de parámetros y leyó 1,4 billones de tokens. El artículo de DeepMind, publicado en arXiv el 29 de marzo de 2022, informa de que Chinchilla superó a Gopher en casi todas las tareas medidas, incluida la prueba de conocimiento general MMLU, donde obtuvo un 67,5% (67,6 en la tabla del artículo) frente al 60,0 de Gopher.

El resultado vino de una manera de predecir la calidad de un modelo antes de construirlo, llamada ley de escala: una curva ajustada que vincula el error de un modelo con su tamaño, sus datos de entrenamiento y la potencia de cálculo gastada. Este artículo sigue los dos trabajos que fijaron los términos, el de OpenAI del 23 de enero de 2020 y el de DeepMind del 29 de marzo de 2022, y luego los trabajos posteriores que los ajustaron: DeepSeek en enero de 2024, un intento de replicación externo en abril de 2024, Llama 3 de Meta en julio de 2024 y el Informe Internacional sobre la Seguridad de la IA del 3 de febrero de 2026. Para saber cómo se entrena realmente un modelo, véase nuestro explicativo paso a paso.

Qué midió el artículo de 2020

Jared Kaplan, Sam McCandlish y ocho coautores de OpenAI y la Universidad Johns Hopkins entrenaron modelos de lenguaje Transformer de muchos tamaños y siguieron su pérdida de entropía cruzada, una puntuación de lo mal que un modelo predice el siguiente token, en la que menos es mejor. El resumen dice que la pérdida cae como una ley de potencias con el tamaño del modelo, el tamaño del conjunto de datos y el cómputo de entrenamiento, y que algunas tendencias abarcan más de siete órdenes de magnitud. Una ley de potencias es una recta en un gráfico de ejes logarítmicos: cada aumento de diez veces en una entrada compra una caída constante y predecible de la pérdida.

Otros dos hallazgos marcaron lo que hicieron después los laboratorios. Los detalles de la arquitectura, como lo profunda o ancha que es la red, tenían un efecto mínimo dentro de un amplio intervalo, de modo que lo que importaba era la escala. Y para un presupuesto de cómputo fijo, el artículo dice que el mejor resultado sale de entrenar modelos muy grandes con una cantidad relativamente modesta de datos y detenerse bastante antes de la convergencia, el punto en que más entrenamiento deja de ayudar. Sus exponentes ajustados hacen que el tamaño del modelo crezca como el cómputo elevado a 0,73 y los datos como el cómputo elevado a 0,27. El artículo posterior de DeepMind lo lee así: con 10 veces más cómputo, el modelo debería crecer 5,5 veces y los tokens de entrenamiento solo 1,8 veces.

El artículo de Kaplan es franco sobre sus límites. Su apéndice dice que «no tenemos una comprensión teórica sólida» de las leyes, y que sin ella es difícil saber cuándo se puede confiar en ellas. Los autores de DeepMind señalan que, siguiendo este consejo, la mayoría de los modelos grandes de la época, GPT-3 entre ellos, se entrenaron con unos 300 000 millones de tokens.

Una sartén más grande o más ingredientes

Una analogía de cocina ayuda. El coste de entrenamiento es aproximadamente seis veces el número de parámetros por el número de tokens, una aproximación que usan tanto el artículo de Kaplan como el de DeepSeek. Piénsese en los parámetros como el tamaño de la sartén y en los tokens como la cantidad de ingredientes, con las horas de cocción fijas. Si se elige una sartén el doble de grande y las horas son fijas, solo se puede llenar hasta la mitad. Una ley de escala responde cómo repartir un presupuesto fijo entre sartén e ingredientes para obtener la pérdida más baja. Esa respuesta es lo que significa «óptimo en cómputo».

El ajuste de Kaplan se inclinaba hacia la sartén. El de DeepMind se inclinaba por igualar las dos cosas.

La prueba de 2022: 400 ejecuciones de entrenamiento y un modelo

Jordan Hoffmann, Laurent Sifre y sus colegas de DeepMind entrenaron más de 400 modelos, de menos de 70 millones a más de 16 000 millones de parámetros, cada uno con varias cantidades de datos. Estimaron la mejor división de tres maneras: siguiendo la pérdida más baja a lo largo de las curvas de entrenamiento, ajustando curvas con presupuestos de cómputo fijos (llamadas perfiles IsoFLOP) y ajustando una fórmula a la pérdida directamente. Las tres coincidieron de cerca. El exponente del tamaño del modelo salió en 0,50, 0,49 y 0,46, y el de los datos en 0,50, 0,51 y 0,54, frente a los 0,73 y 0,27 de Kaplan. El resumen del artículo es que por cada duplicación del tamaño del modelo, el número de tokens de entrenamiento también debería duplicarse.

La predicción para el cómputo que entrenó a Gopher, que el artículo sitúa en 5,76 × 10^23 operaciones, era un modelo cuatro veces menor entrenado con cuatro veces más tokens. Chinchilla lo puso a prueba. Dividiendo las cifras del propio artículo se obtienen unos 20 tokens por parámetro para Chinchilla, frente a unos 1,7 para GPT-3 (300 000 millones de tokens con 175 000 millones de parámetros) y 1,1 para Gopher. Según la estimación del artículo, un modelo de 175 000 millones de parámetros como GPT-3 se entrenaría mejor con 4,41 × 10^24 operaciones y más de 4,2 billones de tokens.

Una cifra pide cuidado. La entrada del blog de DeepMind del 12 de abril de 2022 dice que Chinchilla se entrenó con 1,3 billones de tokens, mientras que el artículo dice 1,4 billones en su texto y en su primera tabla. Este artículo usa la cifra del artículo, y el resumen de Epoch AI sobre el artículo da la misma.

Las propias pruebas de DeepMind muestran además que óptimo en cómputo no es lo mismo que el mejor. La entrada del blog señala que PaLM, de Google, con 540 000 millones de parámetros y 768 000 millones de tokens, usó unas cinco veces el cómputo de Chinchilla y lo superó en una serie de tareas. El método de los autores predice que, con el presupuesto de PaLM, un modelo de 140 000 millones de parámetros con 3 billones de tokens habría sido la elección óptima.

Los autores enumeran sus propios límites. Solo tienen dos ejecuciones comparables a gran escala, Chinchilla y Gopher, y ninguna en tamaños intermedios. Suponen una frontera de ley de potencias mientras observan cierta curvatura con cómputo alto, lo que, dicen, sugiere que el tamaño óptimo de los modelos más grandes aún puede estar sobreestimado. Cada ejecución usó menos de una pasada por sus datos.

Lo que ahorra un modelo más pequeño una vez construido

El resumen de Chinchilla añade un segundo beneficio: como es más pequeño, necesita sustancialmente menos cómputo para el ajuste fino y para la inferencia, el trabajo de responder a los usuarios después del entrenamiento. Un modelo popular se consulta muchas más veces de las que se entrena, así que su coste de funcionamiento se acumula en la factura de un laboratorio, y un modelo más pequeño es además el tipo que puede caber en un teléfono.

El artículo de Llama 3 de Meta muestra cómo han aprovechado los laboratorios este punto. Su equipo ajustó su propia ley de escala, como se describe en nuestro explicativo sobre el entrenamiento, y dice que su modelo insignia de 405 000 millones de parámetros tiene un tamaño aproximadamente óptimo en cómputo para su presupuesto. Meta añade entonces que entrenó sus modelos más pequeños durante mucho más tiempo de lo que es óptimo en cómputo, y que el resultado rinde mejor que los modelos óptimos en cómputo con el mismo presupuesto de inferencia. El resumen de Epoch AI sobre el trabajo de replicación hace el mismo planteamiento general: para minimizar los costes de inferencia, suele ser mejor usar un modelo más pequeño entrenado durante más tiempo que la cantidad óptima en cómputo, al menos en lo que respecta al cómputo de preentrenamiento. Así que «óptimo en cómputo» responde solo a una pregunta sobre la factura del entrenamiento.

La comprobación de DeepSeek en enero de 2024 sobre los datos

El artículo de DeepSeek-AI del 5 de enero de 2024 parte del desacuerdo entre los dos artículos anteriores, que, según dice, mostraban conclusiones variables y suscitaban dudas sobre lo ampliamente que se aplican las leyes. Reajustó las curvas con el método IsoFLOP y sustituyó el número de parámetros por los FLOP sin incrustaciones por token, una medida del cómputo que cuesta cada token, como medida del tamaño del modelo.

Su Tabla 4 da el exponente del tamaño del modelo en tres conjuntos de datos. Para la fila de OpenAI, que es la cifra de Kaplan, es 0,73; en MassiveText, de DeepMind, es 0,49; en los datos tempranos de DeepSeek fue 0,450, en sus datos actuales 0,524, y en un reajuste de OpenWebText2 0,578. La lectura del artículo es que cuanto mejores son los datos, más del cómputo adicional debería ir a un modelo mayor, y que la calidad cambia la división. Este es un hallazgo de DeepSeek sobre sus propios conjuntos de datos. La empresa dice que las leyes ajustadas pronosticaron el rendimiento de sus modelos de 7000 y 67 000 millones de parámetros, ambos entrenados con 2 billones de tokens, lo que equivale a unos 30 tokens por parámetro para el mayor.

Un intento de replicación y lo que halló

En abril de 2024, Tamay Besiroglu, Ege Erdil, Matthew Barnett y Josh You, de Epoch AI, un grupo de investigación que sigue las tendencias de la IA, publicaron un intento de replicar el tercer método de DeepMind, la fórmula ajustada. Reconstruyeron parte de los datos a partir de los gráficos del artículo y ajustaron la misma fórmula.

Informan de que las estimaciones de parámetros publicadas se ajustan mal a esos datos reconstruidos. Informan de que los intervalos de confianza publicados son inverosímilmente estrechos, tan estrechos que, según su resumen, harían falta más de 600 000 experimentos cuando DeepMind probablemente hizo menos de 500. E informan de que la fórmula tal como se publicó implica unos 70 tokens por parámetro, lo que no concuerda con los propios métodos de DeepMind ni con los 20 tokens por parámetro con que se entrenó Chinchilla. Su reajuste da unos 20, en línea con los otros dos métodos del artículo. Atribuyen la discrepancia a que el optimizador se detuvo antes de la convergencia y al redondeo de los números publicados.

Eso hace el hallazgo más acotado de lo que podría sugerir un titular. Un intento de replicación halló problemas en los números publicados del tercer método y encontró su resultado de escala igual coherente con los dos primeros. Es un preprint externo construido sobre datos reconstruidos, no la última palabra, y Epoch dice que el trabajo anterior que se apoyó en el ajuste publicado puede necesitar revisión.

Lo que dice el informe de 2026, y un ejemplo de Sarvam

El Informe Internacional sobre la Seguridad de la IA 2026, publicado el 3 de febrero de 2026, dirigido por Yoshua Bengio y respaldado por más de 30 países y organizaciones internacionales, describe las leyes de escala como relaciones predecibles entre el tamaño del modelo, el cómputo y el rendimiento que se han mantenido a lo largo de seis órdenes de magnitud de tamaño de modelo. Dice también que son regularidades empíricas inferidas del comportamiento observado que pueden dejar de cumplirse más allá del cómputo o los datos vistos hasta ahora, y que desde enero de 2025 las mejoras de capacidad han venido cada vez más del posentrenamiento y del cómputo adicional en el momento de uso, y no solo del tamaño del modelo.

La entrada de Sarvam AI del 6 de marzo de 2026 da un dato indio actual. Informa de que Sarvam 30B se entrenó con 16 billones de tokens y Sarvam 105B con 12 billones, ambos con cómputo de la Misión IndiaAI (véase nuestro informe sobre las GPU y los modelos de la misión). Por simple división son unos 530 tokens por parámetro para el 30B y unos 114 para el 105B, muy por encima de los 20 de Chinchilla. La comparación tiene una trampa, porque ambos son modelos de mezcla de expertos, que activan solo una parte de sus parámetros para cada token, y la entrada da 2400 millones de parámetros activos para el 30B. La comparación de Chinchilla era entre modelos densos, en los que se usa cada parámetro para cada token, y el artículo de 2022 trata los diseños de mezcla de expertos solo como trabajo de otros. La entrada de Sarvam enumera los recuentos de tokens y no describe un cálculo óptimo en cómputo detrás de ellos.

Share
Copied!

Fuentes y lecturas adicionales

  1. Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
  2. Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
  3. Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
  4. Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
  5. Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
  6. DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
  7. Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
  8. International AI Safety Report 2026 (published 3 February 2026)
  9. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)

Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.

#scaling laws#chinchilla#compute-optimal training#large language models#deepmind#openai#deepseek#sarvam ai

¿Te ha gustado? Recibe el siguiente.

Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.

Más en IA y tecnología
Ocho autores de Google publicaron el artículo del Transformer el 12 de junio de 2017, y su modelo grande obtuvo 28,4 BLEU del inglés al alemán tras 3,5 días con ocho GPU
Un recorrido por el diseño que hay detrás de los chatbots de hoy, con las tablas del propio artículo y el ejemplo de Google de una palabra que tiene que mirar a un río. También cubre las partes del diseño de 2017 que los modelos posteriores conservaron, cambiaron o descartaron.
El modelo de 105 mil millones de parámetros de Sarvam calcula con 10,3 mil millones por cada token, con el diseño de mezcla de expertos que va de un artículo de 1991 a Mixtral y DeepSeek
Un pequeño enrutador envía cada palabra a unas pocas de 128 subredes, de modo que la mayor parte del modelo queda inactiva para cada palabra. De dónde salió el diseño, cómo lo usan Mixtral, DeepSeek y Sarvam, y qué es lo que no ahorra.
Meta entrenó Llama 3 405B con 15,6 billones de tokens y 30,84 millones de horas de GPU, y los evaluadores humanos de OpenAI prefirieron un modelo ajustado de 1.300 millones de parámetros al GPT-3 de 175.000 millones
Cinco artículos y una ficha de modelo detallan cada etapa de la construcción del modelo que hay debajo de un chatbot. Estas son las etapas en orden, con los parámetros, tokens, horas de GPU y resultados de pruebas que los propios laboratorios publicaron.
← todos los artículos