Skip to content
印度团队如今打造的分词器,读泰米尔语和泰卢固语平均每词约两个词元,而一些全球分词器要四个或更多
人工智能与科技

印度团队如今打造的分词器,读泰米尔语和泰卢固语平均每词约两个词元,而一些全球分词器要四个或更多

插图:tuput

中文

Gnani.ai、Sarvam和Krutrim AI各自发布了一款分词器,减少聊天机器人处理印度语言文本所需的片段数。Gnani的分词器于2026年5月19日发布,报告泰米尔语和泰卢固语每词约2.0个词元,而它起步时用的分词器需要3.7和3.9个。

· · 1 分钟阅读

印度的研究团队重建了聊天机器人的第一步,也就是把文本切成片段的分词器,使泰米尔语和泰卢固语每个词只需要约两个片段。Gnani.ai和NVIDIA的研究人员在2026年5月19日报告,泰米尔语平均每词1.9969个词元,泰卢固语2.0632个。在同样的测试文本上,Nemotron 3 Nano自带的分词器,也就是他们起步时用的那个,需要3.7480个和3.9212个。

另外两项印度的工作也指向同一方向。Sarvam AI于2024年10月24日随Sarvam-1发布了一款分词器,报告它在十种印度语言上是每词1.4至2.1个词元。班加罗尔Krutrim AI的研究人员在2025年11月发表了一篇论文,其分词器MUTANT-Indic,据作者自己的测量,在英语、22种印度语言和代码上的平均词元数,比Meta的LLaMA 4的分词器少39.5%。

下文所有生育率数字都来自打造该分词器的团队,所以每一个都是制造者的说法。

词元是什么,生育率数的是什么

语言模型从不看到字母或整个词。分词器先把文本切成词元,模型只读写这些词元。OpenAI的帮助中心说,一个词元可以是一个字符、一个词的一部分、一个完整的词或一个标点。对英语,它给出粗略的规则:一个词元约四个字符,或四分之三个词,所以100个词元约75个词。它补充说,其他语言的字符、词和词元之间,可能有不同的关系。

目前多数分词器使用一种叫字节对编码的方法。Hugging Face的文档是这样描述的:从单个字符开始,然后反复合并在文本样本中最常相邻出现的一对,直到词表达到目标大小。常见的词最后成为单个词元,罕见的词被拆成片段。一种文字在样本中很充足,就得到长而高效的词元;一种文字稀少,就被切成小块。

生育率衡量的就是这种效应:每个词平均所需的词元数。Sarvam和Gnani对它的定义相同,Sarvam把英语定在约1.4。数字越低,同一个句子用的词元越少。关于模型怎么使用这些词元的背景,见聊天机器人如何预测下一个词和大语言模型如何训练。

为什么账单和记忆都按词元算

词元是计费和记忆的单位。OpenAI的帮助中心说,按词元定价取决于模型和词元的种类,输入和输出分别定价。Anthropic的定价页面按每百万词元报价。词元也决定上下文窗口,也就是模型一次能容纳在视野里的量。

该页面的另一条提醒适用于任何厂商间的比较:每百万词元的价格较低,并不保证总成本较低,因为不同模型对同一段文本的分词方式可能不同。Anthropic的定价页面对它自己的模型也有类似的说法,称其较新的分词器对同一文本产生的词元约多30%。

在Gnani的算例中,一篇1,000词的泰卢固语文档,用它的分词器约为2,063个词元,用未改动的Nemotron分词器是3,921个,用Qwen 3.5的分词器是4,753个。Gnani说,这意味着同样内容的推理成本约减半。Gnani还说,它的平均值是每词1.88个词元,基线是3.20个,在固定的词元预算里,能多放下约37%的词。

量出这一差距的2023年研究

奥雷瓦奥格内·阿希亚(Orevaoghene Ahia)和六位合作者,在2023年5月23日发到arXiv、并在EMNLP 2023会议上发表的一篇论文中,提供了学术上的依据。他们把一组多种语言的平行句子,送进ChatGPT的gpt-3.5-turbo模型背后的分词器。作者发现,有自己文字的语言,泰卢固语也在内,为表达同样的信息所需的词元,最多是拉丁文字语言的五倍。

在XLSum摘要基准上,他们报告,泰卢固语和阿姆哈拉语的提示和生成,花费最多高出四倍。他们的摘要得出的结论是:众多受支持语言的使用者被多收了钱,得到的结果却更差,而这些使用者往往来自本来就更难负担这些API的地区。作者推测原因是训练数据的失衡,因为该分词器主要是用拉丁文字的语言训练的,主要是英语。

那项研究涵盖的是一家厂商的分词器在2023年的情况。下文Krutrim的表格里包括OpenAI的开放模型GPT-OSS,它处理印地语需要每词1.72个词元,处理奥里亚语需要6.26个。

Sarvam:先于模型造好的分词器

Sarvam-1于2024年10月24日作为开放模型发布,是一个20亿参数、面向十种印度语言和英语的模型。Sarvam说,现有的多语言模型处理印度文字,往往需要每词4至8个词元,而它自己的分词器在所有支持的语言上是1.4至2.1个。词表有68,096个词元,其中4,096个留作日后增补。

该公司认为,这也延展了它的训练数据。它估计,2万亿词元的印度语言语料,所给的训练信号相当于经由其他常用分词器的6至8万亿词元。训练用了Yotta的Shakti集群的1,024块GPU,历时五天。

2026年3月6日,Sarvam发布了两个更大的开放模型Sarvam 30B和Sarvam 105B,其分词器涵盖12种文字的全部22种印度宪法列表语言。据该文章,它胜过其他开源分词器,对奥里亚语、桑塔利语和曼尼普尔语(Meitei)等资源匮乏的语言效率明显更高。文章以图表展示比较,正文中没有数值,所以无法从中引用数字。Sarvam还报告,该分词器使30B模型在印度语言生成上可测得的服务优势扩大多达10倍。这些模型在国家计划中的位置,见印度正用自己的语言建设人工智能。

Gnani:不重训模型而扩展分词器

Gnani.ai为印度语言开发语音和对话式人工智能。Gnani的文章有NVIDIA的作者参与,日期为2026年5月19日,起点是NVIDIA的Nemotron 3 Nano的分词器,它继承自一个Mistral模型,主要用英语和欧洲文本训练。Gnani说,在它之下,一个印度语言的词可以扩展成四个或更多词元。Gnani的目标是在不重训模型、不改架构的前提下,为印地语、孟加拉语、泰米尔语和泰卢固语扩展这个分词器。

他们比较了两种方法。一种是用印度语言文本,在现有的合并表上继续做字节对编码,目标是新增3.2万多条合并规则。另一种是训练一个单独的印度语言分词器,把它的词元作为完整字符串追加到词表里。Gnani的例子来自泰米尔语。வாடிக்கையாளர்,意为“客户”,是它业务部署中的常见词。带后缀的形式வாடிக்கையாளர்களுக்கு,意为“给客户们”,可能从未在训练中出现过,在第二种方法下,这样的词可能退回成逐字符的片段。Gnani说,在第一种方法下,它是由学到的部件拼成的。

报告的结果偏向第一种方法,Gnani称之为Indic Continued BPE。四种语言的平均值1.8802,对比Sarvam 30B的2.0063、Gemma 3 27B的2.1132、GPT-OSS-20B的2.79和未改动的Nemotron的3.1992。分语言看,印地语从2.0578降到1.4899,孟加拉语从3.0697降到1.9709,泰米尔语从3.7480降到1.9969,泰卢固语从3.9212降到2.0632。在印地语(1.4093)和孟加拉语(1.6942)上,Gnani自己的表格把Sarvam 30B排在前面,文章说,它的训练权重偏向了达罗毗荼语系的语言。

Gnani的文字说,它在一处与八个公开模型作了比较,在另一处是七个,并总共提到九个分词器,而表格列出八行,其中两行是Gnani自己的。表格还给出Sarvam 30B和Gemma 3 27B相同的印地语和孟加拉语数值。文章对这两点都没有解释。

Krutrim的MUTANT,以及为什么这些表格对不上

MUTANT是Krutrim AI的苏维克·拉纳(Souvik Rana)、阿鲁尔·梅内塞斯(Arul Menezes)、阿希什·库尔卡尼(Ashish Kulkarni)、钱德拉·哈特里(Chandra Khatri)和舒布哈姆·阿格拉瓦尔(Shubham Agarwal)的一篇论文,2025年11月5日在arXiv上出现,标题是IndicSuperTokenizer。2026年3月22日修订的版本改称MUTANT,并提出一套方案:按文字分配词表,具有语言意识的预分词,以及两阶段训练,先是词片,再是高频的多词单位。

摘要报告,平均生育率比LLaMA 4好39.5%,比Sutra(作者称之为当前最好的分词器)好18%,推理吞吐量比LLaMA 4提高44%,同时在英语和印度语言基准上保持相当的结果。这一比较涵盖英语、22种印度语言和代码。在论文的表3中,MUTANT-Indic在24列中的20列里生育率最低。对泰米尔语,它报告2.12,LLaMA 4是5.87,对泰卢固语是1.88对4.53,对印地语是1.23对1.83。正文特别提到LLaMA 4在奥里亚语上是10.51。

三个来源无法合并成一张排行榜。GPT-OSS在MUTANT论文中泰卢固语是3.13,在Gnani的文章中是3.90。Sarvam 2024年的分词器,Sarvam报告它在十种语言上是1.4至2.1,MUTANT表格中泰卢固语是2.63。各自的测试文本、语言和数词方法都不同,所以只有同一张表里的数字才能比较。在为本文查阅的来源里,没有一项被外部团队复现过。

词元变少,改变了什么,又没有改变什么

词元数少,会降低成本,并让上下文窗口容纳更多文本。更好的回答并不会自动随之而来。MUTANT的作者报告,他们的分词器在所测试的基准上保持了相当的结果,这是看任何此类论文时都要找的说法。Gnani认为,如果分词器在模型看到文本之前就把它切碎了,再多的印度语言数据微调也补偿不了。

分词还会影响与价格无关的任务。阿迪蒂亚·辛格(Aaditya Singh)和DJ·施特劳斯(DJ Strouse)2024年2月的一篇论文发现,GPT-3.5和GPT-4把数字拆成词元的方式,会改变它们的算术准确率,从右到左分组,成绩大幅提高。

MUTANT的作者说,他们将发布评估数据集和框架,让其他团队可以做同样的比较。

Share
Copied!

资料来源与延伸阅读

  1. Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
  2. Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
  3. Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
  4. Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
  5. arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
  6. Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
  7. ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
  8. Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
  9. OpenAI Help Center, Understanding and counting tokens
  10. Claude Platform Docs, Pricing
  11. Hugging Face Transformers documentation, Tokenization algorithms

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#tokenizer#fertility#sarvam#gnani ai#indic languages#large language models#krutrim#tamil

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
八位谷歌作者于2017年6月12日发布Transformer论文,其大模型在八块GPU上训练3.5天后,英德翻译得分达到28.4 BLEU
这篇文章带读者走一遍今天聊天机器人背后的设计,用的是论文自己的表格,以及谷歌自己举的“一个词必须去看河”的例子。文章也讲到2017年设计中后来的模型保留、改动或舍弃的部分。
帕特里克·刘易斯等12位作者在2020年5月22日的论文中提出检索增强生成,让聊天机器人先从2100万段文字的索引里取出段落,再作答
用平实的话讲清让聊天机器人查阅文档的四个步骤:2020年把一份维基百科快照换成另一份的实验,把文字切成块为何会丢失上下文,以及实测有效的补救办法。
据Sarvam称,其Saaras V4能以五种输出格式转写全部22种附表语言,Bulbul V4 Flash语音模型发声不到250毫秒
一个模型负责听,另一个负责说,足以撑起一通印地语、泰米尔语或孟加拉语的电话。本文说明发布细节、Sarvam关于词错误率误判印度语音的论点,以及支撑这些说法的公开测试。
← 全部文章