Skip to content
谷歌Ironwood TPU每颗芯片额定4,614万亿次浮点运算、192 GiB内存,9,216颗芯片连成一个pod,自2026年3月31日起在谷歌云全面可用
人工智能与科技

谷歌Ironwood TPU每颗芯片额定4,614万亿次浮点运算、192 GiB内存,9,216颗芯片连成一个pod,自2026年3月31日起在谷歌云全面可用

插图:tuput

中文

谷歌的文档把每颗Ironwood芯片的8位运算峰值标为4,614万亿次,配192 GiB内存和7,380 GBps内存带宽。谷歌的发布说明记录,预览版于2025年11月24日推出,全面可用于2026年3月31日。

· · 1 分钟阅读

谷歌的文档把每颗Ironwood芯片的峰值算力标为8位运算下4,614万亿次浮点运算(每秒万亿次算术运算),旁边配有192 GiB高带宽内存,并允许最多9,216颗这样的芯片连成一个pod。Ironwood是第七代张量处理单元(Tensor Processing Unit,简称TPU),是谷歌为AI模型所用的矩阵运算设计的芯片。谷歌的发布说明记录,它自2026年3月31日起在谷歌云全面可用。

这里的每个数字都是谷歌自己的规格或峰值额定值,读取自谷歌页面,截至2026年11月12日。文中没有引用任何对Ironwood的独立基准测试,接近结尾的一节把依赖谷歌所选测试条件的对比单独列了出来。

谷歌规格页上的数字

谷歌的TPU7x页面(TPU7x是首个Ironwood版本的云上名称)把这颗芯片与之前的两代并列。

除特别说明外均为每颗芯片TPU v5pTPU v6e(Trillium)TPU7x(Ironwood)
每个pod的芯片数8,9602569,216
峰值算力,BF16(万亿次)4599182,307
峰值算力,FP8(万亿次)4599184,614
内存(GiB)9532192
内存带宽(GBps)2,7651,6387,380
芯片间带宽,双向合计(GBps)1,2008001,200

谷歌2025年4月的发布说,FP8数字在v4和v5p上是模拟的,在Ironwood上是原生的,所以v5p一列重复了它的BF16数字;该页面对v6e也是这样处理的。每颗Ironwood芯片带有两个TensorCore(做矩阵乘法的单元)和四个SparseCore,4月的文章把后者描述为用于排序和推荐的超大嵌入表(查找表)的加速器。每台主机连接四颗芯片,页面给出这台四芯片机器的配置为224个虚拟CPU和960 GB内存。

什么是万亿次浮点运算,以及数字格式为什么重要

一次FLOP是一次浮点运算:对一个可以带小数部分的数做一次加法或乘法。1万亿次浮点运算(teraflop)是每秒一万亿次,1艾次(exaflop)是每秒十亿个十亿次。4,614是峰值,即每个运算单元每时每刻都在忙碌时的速率,文档也是这样标注的。

这个标注同时指明了一种数字格式。FP8用8位存储每个数,BF16(bfloat16)用16位。文档给出BF16为2,307万亿次,FP8正好是它的两倍,下文引用的谷歌DeepMind教科书说,该芯片做FP8矩阵乘法的速率是BF16的两倍。位数越少,数就越粗略,每秒能做的运算就越多。

把pod的数字乘出来:9,216颗芯片乘以每颗4,614万亿次,等于42.5艾次,这是谷歌2025年4月文章和谷歌Hot Chips 2025幻灯片上的数字,后者标注的是FP8。按BF16额定值做同样的乘法,得到约21艾次,这是教科书给出的一个pod的数字。

为什么内存和运算同样重要

这本由谷歌DeepMind工程师撰写的教科书,把TPU描述为一个擅长矩阵乘法的核心,连着一叠称为HBM(高带宽内存)的高速内存。带宽是指每秒能有多少字节从这块内存搬到运算单元。两者之间有一块很小的片上暂存区,教科书给出TPU7x上为128 MiB,比HBM快得多,但比它的192 GiB小得多。

聊天机器人一次写出回复的一个token(一个词或词的一部分),正如tuput那篇谈聊天机器人如何猜下一个词的文章所述,教科书指出,每一步都要把模型的全部参数从HBM载入。载入这些参数所需的时间因此成为每步耗时的下限。它的算例取一个2,000亿参数、BF16格式的模型,即400 GB,分布在32颗v6e芯片上:每颗芯片12.5 GB,以约1.6 TB每秒读取,最好情况下每步约7.8毫秒。

用Ironwood文档给出的7,380 GBps做同样的计算,12.5 GB约需1.7毫秒。这是tuput用一个文档给出的数字做的算术,针对32颗芯片上的一种模型规模,是下限,而不是对任何服务回复速度的预测。谷歌的文档自己也说,尽管容量很大,HBM对某些运算仍可能是瓶颈。谷歌各处页面对带宽的取整有三种:4月文章中是7.37 TB/s,文档中是7,380 GBps,Hot Chips幻灯片上是7.3 TB/s。

一个pod,以及为什么芯片连成环面

谷歌2025年11月的文章把pod描述为彼此相连、作为一个整体工作的芯片。对Ironwood,文章给出最多9,216颗芯片,由其评定为每秒9.6太比特的网络连接,共享1.77拍字节(petabyte)的HBM。文档把它构建为144个4x4x4芯片的立方体,即每个立方体64颗芯片,所列的最小配置是四芯片切片。对于超过2,048颗芯片的切片,页面说要联系谷歌的客户团队。

在一个立方体内,每颗芯片在三个方向上与最近的邻居直接相连。页面给出每颗芯片6条链路,每条双向带宽200 GBps,每个轴向400 GBps,总计1,200 GBps。对于64颗芯片或更多的切片,立方体之间连成一个三维环面(3D torus),即边缘绕回去与对边相接的网格。想象一排芯片:把最后一颗接到第一颗,就成了一个环,教科书说这种绕回把两颗芯片之间的最大距离从N减到N/2。教科书补充说,小于一个整立方体的切片没有这种绕回,它说这通常会让大多数通信的耗时加倍。它把这种设计与GPU集群作了对比,后者通过多层交换机连接芯片。

光路交换机连接各个立方体,并且可以重新配置,因此同一批立方体可以被切成不同形状的切片。ServeTheHome对Hot Chips演讲的报道说,一个出故障的节点可以被摘掉,切片从保存的检查点在其他机架上重建,而9,216略高于2的幂,是为了保留备用机架(8,192则一个也不剩)。4月的文章说,一个满配的pod接近10兆瓦,芯片采用液冷。AI数据中心的总用电量,在tuput谈国际能源署和伯克利实验室预测的文章里有介绍。

一个封装盖下的两个芯粒

谷歌的Hot Chips幻灯片称Ironwood是首款双计算裸片的TPU,ServeTheHome报道说,这种设计让谷歌可以突破单一裸片的限制。据文档,每个芯粒有1个TensorCore、2个SparseCore和96 GiB HBM,一条比芯片间单条链路快6倍的裸片间链路把它们连起来。软件把每颗芯片看作两个设备:在一台四芯片机器上,JAX库会列出八个。

页面说,TPU7x运行JAX和PyTorch框架,不支持TensorFlow。在提供模型服务方面,它列出vLLM和SGLang两种推理引擎。谷歌2026年11月9日的文章说,它在前一个月开源了TorchTPU,使PyTorch代码和Hugging Face模型无需改写就能在TPU上运行。

日期、可用区和客户

谷歌于2025年4月9日在Cloud Next 25上宣布了Ironwood,称其为“首款专为推理设计的”TPU。它的文档和2025年11月的文章则把它描述为同时为训练和推理而造。谷歌在2025年8月26日Hot Chips大会上的幻灯片,点名诺曼·朱皮(Norman Jouppi)和斯里达尔·拉克什马纳穆尔蒂(Sridhar Lakshmanamurthy)为演讲者,并说超大规模部署正在进行。

2025年10月23日,Anthropic宣布计划使用“最多100万块TPU”,称这一扩展价值数百亿美元,预计将在2026年带来远超1吉瓦的容量上线。那篇文章没有点名TPU的哪一代。谷歌2025年11月6日的文章把同一计划放在其Ironwood部分,并引述了Anthropic计算负责人詹姆斯·布拉德伯里(James Bradbury)谈Ironwood在推理和训练上的提升。文章还引述Lightricks和Essential AI作为早期用户。

11月那篇文章的正文说,Ironwood将“在未来几周内”全面可用。谷歌的发布说明给出了日期:预览版于2025年11月24日,全面可用于2026年3月31日。TPU7x页面没有列出地点。另一个区域和可用区页面,截至2026年11月12日列出TPU7x的两个可用区,us-central1-ai1a和us-central1-c,都在谷歌的us-central1区域。

就印度而言,PIB 2026年2月10日的背景介绍文件说,印度AI使命已接入38,000多块GPU,每小时65卢比,另有1,050块TPU,文件把TPU定义为专为AI任务而造的芯片。文件没有点名TPU的哪一代,所以其中没有任何内容说明是否有Ironwood。该使命在tuput的印度AI使命一文中有介绍,全国性的千万亿次级机器则在谈PARAM超级计算机的文章里。

哪些对比出自谷歌自己

谷歌2025年11月的文章说,Ironwood的峰值性能是TPU v5p的10倍,训练和推理的每芯片性能比v6e好4倍以上。Hot Chips幻灯片也说算力是v5p的10倍以上。表格显示了这有多依赖数字格式。在FP8下,4,614对v5p的459是10倍,但v5p一列是模拟的FP8,在BF16下比值是5倍(2,307对459)。对v6e,按页面上的数字,FP8下是5倍,BF16下是2.5倍。文章没有说明“4倍以上”背后是哪些工作负载或哪种数字格式。

4月文章中的内存比值可由表格推出,它们是规格,不是测试结果:192 GiB对32是6倍,7,380对1,638 GBps是4.5倍。同一篇文章声称每瓦性能是Trillium的两倍,效率接近谷歌2018年首款Cloud TPU的30倍,图表注释说该衡量标准是每瓦热设计功耗的FP8峰值浮点运算。ServeTheHome谈到Hot Chips上同一个2倍的说法时写道,不清楚它是否是在同一数字格式下测得的。

4月的文章还把42.5艾次的pod与El Capitan作了对比,列出后者为1.7艾次。劳伦斯利弗莫尔国家实验室(Lawrence Livermore National Laboratory)报告,这台机器在2025年6月的TOP500榜单上,高性能Linpack测试成绩为1.742艾次,在另一项混合精度测试上为16.7艾次。一个数字是FP8下的理论峰值,另一个是实测基准,所以它们回答的是不同的问题。

Ironwood之后

谷歌2026年11月9日的文章由首席技术专家阿明·瓦赫达特(Amin Vahdat)撰写,说TPU现已有八代,两款第八代芯片,即用于训练的8t和用于推理的8i,已在2026年4月的Cloud Next上推出。文章引述训练性能最高提升2.7倍、推理性价比提升80%,均相对于上一代,均为谷歌的数字。同一篇文章还加入了用于机密推理的TPU 8tx,以及TPU 8i Max,后者在一个封装上放两颗8i芯片,计算、SRAM和内存带宽是8i的两倍,并说公司在一年内推出了四个TPU系统。文章称TPU业务有近100个客户。文章没有给出这四款中任何一款的芯片级规格,所以这里不拿它们与Ironwood比较。

Share
Copied!

资料来源与延伸阅读

  1. Google Cloud documentation: TPU7x (Ironwood), last updated 11 November 2026
  2. Google Cloud documentation: TPU regions and zones
  3. Google Cloud documentation: Cloud TPU release notes
  4. Google: Ironwood, the first Google TPU for the age of inference (9 April 2025)
  5. Google Cloud blog: Ironwood TPUs and new Axion-based VMs for your AI workloads (6 November 2025)
  6. Google Cloud blog: Our newest TPUs, 8tx and 8i Max, built for the agentic era (9 November 2026)
  7. Hot Chips 2025: Ironwood, Delivering Best in Class perf, perf/TCO and perf/Watt for Reasoning Model Training and Serving (Google slides, 26 August 2025)
  8. Anthropic: Expanding our use of Google Cloud TPUs and Services (23 October 2025)
  9. Google DeepMind authors: How to Scale Your Model, Part 2, How to Think About TPUs
  10. ServeTheHome: Google Ironwood TPU Swings for Reasoning Model Leadership at Hot Chips 2025 (26 August 2025)
  11. Lawrence Livermore National Laboratory: El Capitan reigns supreme across three major supercomputing benchmarks (16 June 2025)
  12. PIB Backgrounder: Democratising AI in India (10 February 2026)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#google ironwood#tpu#ai accelerator#tpu7x#high bandwidth memory#ai inference#ai hardware#google cloud

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
八位谷歌作者于2017年6月12日发布Transformer论文,其大模型在八块GPU上训练3.5天后,英德翻译得分达到28.4 BLEU
这篇文章带读者走一遍今天聊天机器人背后的设计,用的是论文自己的表格,以及谷歌自己举的“一个词必须去看河”的例子。文章也讲到2017年设计中后来的模型保留、改动或舍弃的部分。
Bharat-VISTAAR 于2026年2月17日在斋浦尔推出,农民打电话拨155261就能向AI顾问提问,它调用ICAR、IMD、Agmarknet和AgriStack的数据
拨打一次155261,就能接通一位AI顾问,它的资料来自ICAR的种植规程、天气和曼迪数据。推出时的新闻稿、语言计划和迄今公布的使用数字,连同日期和来源一并列出。
据制作方说,《罗摩衍那:第一部》于2026年11月6日进入英语影院,全部由真人配音,再由Brahma AI让演员的嘴形与台词对上
先有真人表演,再用软件处理,这是制片方对这部电影英语版的描述。电视艺术与科学学院、Brahma AI 自己的页面和几位影评人补上了其余部分。
← 全部文章