Ilustración de tuput
Español
Gnani.ai, Sarvam y Krutrim AI han publicado cada uno un tokenizador que reduce el número de piezas que un chatbot necesita para el texto en lenguas indias. El de Gnani, publicado el 19 de mayo de 2026, informa de unos 2,0 tokens por palabra en tamil y telugu donde el tokenizador del que partió necesitaba 3,7 y 3,9.
Equipos de investigación indios han reconstruido el primer paso que da un chatbot, el tokenizador que corta el texto en piezas, de modo que el tamil y el telugu necesitan unas dos piezas por palabra. Investigadores de Gnani.ai y NVIDIA informaron el 19 de mayo de 2026 de un promedio de 1,9969 tokens por palabra en tamil y de 2,0632 en telugu. El propio tokenizador de Nemotron 3 Nano, aquel del que partieron, necesitaba 3,7480 y 3,9212 sobre el mismo texto de prueba.
Otros dos esfuerzos indios apuntan en la misma dirección. Sarvam AI publicó un tokenizador con Sarvam-1 el 24 de octubre de 2024 e informó de entre 1,4 y 2,1 tokens por palabra en diez lenguas indias. Investigadores de Krutrim AI, en Bangalore, publicaron un artículo en noviembre de 2025 cuyo tokenizador, MUTANT-Indic, reduce el recuento medio en inglés, 22 lenguas indias y código en un 39,5% frente al tokenizador de LLaMA 4, de Meta, según la medición de los propios autores.
Cada cifra de fertilidad que sigue procede del equipo que construyó el tokenizador, de modo que cada una es una afirmación de su creador.
Qué es un token y qué cuenta la fertilidad
Un modelo de lenguaje nunca ve letras ni palabras enteras. Un tokenizador corta primero el texto en tokens, y el modelo lee y escribe solo esos. El centro de ayuda de OpenAI dice que un token puede ser un carácter, parte de una palabra, una palabra entera o un signo de puntuación. Para el inglés da reglas aproximadas: un token son unos cuatro caracteres o tres cuartos de palabra, así que 100 tokens son unas 75 palabras. Otras lenguas, añade, pueden tener relaciones distintas entre caracteres, palabras y tokens.
La mayoría de los tokenizadores actuales usan un método llamado codificación por pares de bytes (byte pair encoding). La documentación de Hugging Face lo describe: se parte de caracteres sueltos y luego se fusiona una y otra vez el par que aparece junto con más frecuencia en una muestra de texto, hasta que el vocabulario alcanza un tamaño objetivo. Las palabras comunes acaban como tokens únicos, y las raras se dividen en piezas. Una escritura abundante en la muestra recibe tokens largos y eficientes. Una escritura escasa se corta en otros pequeños.
La fertilidad es la medida de ese efecto: el número medio de tokens necesarios por palabra. Sarvam y Gnani la definen igual, y Sarvam sitúa el inglés en torno a 1,4. Un número más bajo significa que la misma frase necesita menos tokens. Para el contexto de cómo usa un modelo esos tokens, véase cómo un chatbot predice la palabra siguiente y cómo se entrena un gran modelo de lenguaje.
Por qué la factura y la memoria cuentan tokens
Los tokens son la unidad de facturación y de memoria. El precio por tokens, dice el centro de ayuda de OpenAI, depende del modelo y del tipo de token, con la entrada y la salida a precios distintos. La página de precios de Anthropic cita sus tarifas por millón de tokens. Los tokens también fijan la ventana de contexto, la cantidad que un modelo puede tener a la vista a la vez.
Una advertencia más en esa página sirve para cualquier comparación entre proveedores: un precio más bajo por millón de tokens no garantiza un costo total más bajo, porque los modelos pueden tokenizar el mismo texto de forma distinta. La página de precios de Anthropic hace una observación parecida sobre sus propios modelos, al decir que su tokenizador más nuevo produce aproximadamente un 30% más de tokens para el mismo texto.
En el ejemplo práctico de Gnani, un documento de 1.000 palabras en telugu sale en unos 2.063 tokens con su tokenizador, 3.921 con el tokenizador de Nemotron sin modificar y 4.753 con el de Qwen 3.5. Eso es aproximadamente la mitad del costo de inferencia para un contenido idéntico, dice Gnani. Con su promedio de 1,88 tokens por palabra frente a los 3,20 de la base de comparación, añade Gnani, caben un 37% más de palabras en un presupuesto fijo de tokens.
El estudio de 2023 que midió la brecha
Orevaoghene Ahia y seis coautores aportaron el ancla académica en un artículo publicado en arXiv el 23 de mayo de 2023 y presentado en la conferencia EMNLP 2023. Un conjunto paralelo de frases en muchas lenguas pasó por el tokenizador que hay detrás del modelo gpt-3.5-turbo de ChatGPT. Las lenguas con escritura propia, el telugu entre ellas, necesitaron hasta cinco veces más tokens que las lenguas de escritura latina para la misma información, encontraron los autores.
En el banco de pruebas de resumen XLSum informan de un gasto de hasta cuatro veces más tanto en la instrucción como en la generación en telugu y amárico. Su resumen concluye que los hablantes de un gran número de las lenguas admitidas pagaban de más y obtenían peores resultados, y que esos hablantes solían vivir en regiones donde las API ya eran menos asequibles de entrada. La causa que los autores plantean como hipótesis es el desequilibrio de los datos de entrenamiento, ya que el tokenizador se entrenó sobre todo con lenguas de escritura latina, principalmente el inglés.
Ese estudio cubre el tokenizador de un proveedor tal como estaba en 2023. La tabla de Krutrim, más abajo, incluye el modelo abierto de OpenAI GPT-OSS, que necesita 1,72 tokens por palabra para el hindi y 6,26 para el odia.
Sarvam: un tokenizador construido antes que el modelo
Sarvam-1, publicado como modelo abierto el 24 de octubre de 2024, es un modelo de 2.000 millones de parámetros para diez lenguas indias y el inglés. Los modelos multilingües existentes suelen necesitar de 4 a 8 tokens por palabra en las escrituras indias, dice Sarvam, mientras que su propio tokenizador alcanza de 1,4 a 2,1 en todas las lenguas admitidas. El vocabulario tiene 68.096 tokens, 4.096 de ellos reservados para añadidos posteriores.
La empresa sostiene que esto también estira sus datos de entrenamiento. El corpus indio de 2 billones de tokens, estima, da una señal de entrenamiento equivalente a entre 6 y 8 billones de tokens pasados por otros tokenizadores populares. El entrenamiento usó 1.024 GPU del clúster Shakti de Yotta durante cinco días.
El 6 de marzo de 2026 Sarvam publicó dos modelos abiertos mayores, Sarvam 30B y Sarvam 105B, con un tokenizador que cubre las 22 lenguas indias de la lista oficial en 12 escrituras. Según la publicación, supera a otros tokenizadores de código abierto y es bastante más eficiente en lenguas con pocos recursos como el odia, el santali y el manipuri (meitei). La publicación muestra la comparación como un gráfico sin valores en el texto, así que no se pueden citar cifras de él. Sarvam también informa de que el tokenizador amplía hasta 10 veces su ventaja medida de servicio para el modelo de 30B en la generación en lenguas indias. Para ver dónde encajan estos modelos en el programa nacional, véase la India construye IA en sus propias lenguas.
Gnani: ampliar un tokenizador sin reentrenar el modelo
Gnani.ai crea IA de voz y conversacional para lenguas indias. La publicación de Gnani, con autores de NVIDIA y fechada el 19 de mayo de 2026, parte del tokenizador de Nemotron 3 Nano de NVIDIA, heredado de un modelo de Mistral y entrenado sobre todo con texto en inglés y europeo. Una sola palabra en una lengua india puede expandirse a cuatro o más tokens con él, dice Gnani. El objetivo de Gnani era ampliar el tokenizador para el hindi, el bengalí, el tamil y el telugu sin reentrenar el modelo ni cambiar su arquitectura.
Se compararon dos métodos. Uno continúa la codificación por pares de bytes sobre la tabla de fusiones existente usando texto en lenguas indias, con el objetivo de superar las 32.000 reglas de fusión nuevas. El otro entrena un tokenizador aparte para lenguas indias y añade sus tokens al vocabulario como cadenas completas. El tamil da el ejemplo de Gnani. La palabra வாடிக்கையாளர், «cliente», es frecuente en sus despliegues empresariales. La forma con sufijo வாடிக்கையாளர்களுக்கு, «a los clientes», puede no haber aparecido nunca en el entrenamiento, y con el segundo método una palabra así puede caer en piezas carácter por carácter. Con el primer método, dice Gnani, se construye a partir de partes aprendidas.
Los resultados informados favorecen al primer método, que Gnani llama Indic Continued BPE. Un promedio de 1,8802 en las cuatro lenguas se compara con 2,0063 de Sarvam 30B, 2,1132 de Gemma 3 27B, 2,79 de GPT-OSS-20B y 3,1992 de Nemotron sin modificar. Por lengua, el hindi baja de 2,0578 a 1,4899, el bengalí de 3,0697 a 1,9709, el tamil de 3,7480 a 1,9969 y el telugu de 3,9212 a 2,0632. En hindi (1,4093) y bengalí (1,6942), la propia tabla de Gnani pone por delante a Sarvam 30B, y la publicación dice que sus pesos de entrenamiento favorecieron a las lenguas dravídicas.
El texto de Gnani dice que comparó con ocho modelos públicos en un lugar y siete en otro, y habla de nueve tokenizadores en total, mientras que la tabla enumera ocho filas, dos de ellas de Gnani. La tabla también da valores idénticos de hindi y bengalí para Sarvam 30B y Gemma 3 27B. La publicación no explica ninguna de las dos cosas.
MUTANT, de Krutrim, y por qué las tablas no cuadran
MUTANT, un artículo de Souvik Rana, Arul Menezes, Ashish Kulkarni, Chandra Khatri y Shubham Agarwal, de Krutrim AI, apareció en arXiv el 5 de noviembre de 2025 con el título IndicSuperTokenizer. La versión revisada el 22 de marzo de 2026 lleva el nombre MUTANT y presenta una receta: un vocabulario asignado por escritura, una pretokenización atenta a la lengua y dos etapas de entrenamiento, primero piezas de palabra y luego unidades frecuentes de varias palabras.
El resumen informa de una fertilidad media un 39,5% mejor que la de LLaMA 4 y un 18% mejor que la de Sutra, un tokenizador que los autores consideran el mejor actual, y de una mejora del 44% en el rendimiento de inferencia sobre LLaMA 4, manteniendo resultados comparables en los bancos de pruebas de inglés y de lenguas indias. Esa comparación abarca el inglés, 22 lenguas indias y código. En la Tabla 3 del artículo, MUTANT-Indic tiene la fertilidad más baja en 20 de las 24 columnas. Para el tamil informa de 2,12 frente a 5,87 de LLaMA 4, para el telugu de 1,88 frente a 4,53 y para el hindi de 1,23 frente a 1,83. El texto destaca a LLaMA 4 en oriya, con 10,51.
Tres fuentes no pueden fundirse en una sola clasificación. GPT-OSS obtiene 3,13 en telugu en el artículo de MUTANT y 3,90 en la publicación de Gnani. El tokenizador de Sarvam de 2024 figura con 1,4 a 2,1 en sus diez lenguas según Sarvam y con 2,63 en telugu en la tabla de MUTANT. El texto de prueba, las lenguas y el método de contar palabras difieren en cada una, y por eso solo son comparables las cifras dentro de una misma tabla. Ningún grupo externo ha reproducido ninguna en las fuentes abiertas para este artículo.
Qué cambian los menos tokens y qué dejan igual
Un recuento menor de tokens baja el costo y hace caber más texto en la ventana de contexto. Mejores respuestas no se siguen por sí solas. Los autores de MUTANT informan de que su tokenizador mantuvo resultados comparables en los bancos de pruebas que probaron, que es la afirmación que hay que buscar en cualquier artículo así. Gnani sostiene que ninguna cantidad de ajuste fino con datos en lenguas indias compensa un tokenizador que fragmenta el texto antes de que el modelo lo vea.
La tokenización también influye en tareas que no tienen nada que ver con el precio. Un artículo de febrero de 2024 de Aaditya Singh y DJ Strouse encontró que la forma en que GPT-3.5 y GPT-4 dividen los números en tokens cambia su precisión en aritmética, y que agrupar de derecha a izquierda daba un rendimiento ampliamente mejorado.
Los autores de MUTANT dicen que publicarán su conjunto de datos y su marco de evaluación, para que otros grupos puedan hacer la misma comparación.
Fuentes y lecturas adicionales
- Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
- Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
- Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
- Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
- arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
- Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
- ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
- Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
- OpenAI Help Center, Understanding and counting tokens
- Claude Platform Docs, Pricing
- Hugging Face Transformers documentation, Tokenization algorithms
Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.
¿Te ha gustado? Recibe el siguiente.
Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.