Skip to content
DeepSeek于2026年9月10日发布开放权重的5,520亿参数模型 V4.1-Flash,把每个词元的缓存降到890字节,约为上一代的四分之一
人工智能与科技

DeepSeek于2026年9月10日发布开放权重的5,520亿参数模型 V4.1-Flash,把每个词元的缓存降到890字节,约为上一代的四分之一

插图:tuput

中文

DeepSeek 说,V4.1-Flash 每个上下文词元只需约890字节的高速内存,大约是上一代 Flash 模型的四分之一,存盘的缓存则约为八分之一。权重以 MIT 许可公开,并附技术报告;发布中的每一项得分都是 DeepSeek 自己给出的。

· · 1 分钟阅读

DeepSeek 于2026年9月10日发布了 V4.1-Flash,这是一个开放权重模型,有5,520亿参数,它为一场对话保存的工作记忆,每个文本词元约需890字节。DeepSeek 的技术报告称,这大约是其上一代 Flash 模型的四分之一,并说这份记忆存在磁盘上的副本缩小到大约八分之一。权重以 MIT 许可放在 Hugging Face 上,任何人都可以下载、修改和运行。

发布公告把这个模型描述为“我们新架构家族中最小的模型”。据模型卡,它能读文本和图像,输出文本,上下文最多可达100万个词元。词元是模型读取的单位,通常是一个词或词的一部分。

什么是 KV 缓存

语言模型写下一个词元时,要把它与对话中之前的每个词元作比较。为了避免每一步都重做这项工作,它在网络的每一层,为每个之前的词元保存两列数字,叫做键(key)和值(value)。保存下来的这个存储就是 KV 缓存。Together AI 的解说说,没有它,每个新词元都要对整段前缀重复做一遍注意力计算,有了它,每一步只处理一个词元,所以生成就更多地成了内存问题,而不是计算问题。

代价是显卡内存,它随上下文长度增长。Together AI 说,上下文很长时,缓存可能超过模型自身权重的大小,成为一块 GPU 同时能服务多少请求的主要限制。DeepSeek 的公告把它与价格联系起来:它说,缓存命中的费用往往在智能体的成本中占很大比例,压缩缓存可以降低这笔费用。智能体是一种循环调用工具的程序,每次都要重新发送一长串历史,正是最受益的工作负载。

按 tuput 自己的乘法,100万个词元每个890字节,合计约890兆字节。这只算了缓存的全局部分,即报告所说始终放在显卡高带宽内存里的那部分。较小的滑动窗口部分另行处理。

缓存变小背后的三项改动

报告点出三项改动。第一项是一种称为 Compressed Sparse Attention 2 的注意力设计,各层共用同一组缓存条目,而不是每层各存一份,后面的层复用“应该看哪些之前的词元”的清单。第二项是用四位浮点数存储缓存,每个数字用的位数比通常的八位或十六位更少。两者合起来得到每个词元890字节。

第三项是一种服务技术,SWA Bounded Replay(滑动窗口有界重放)。DeepSeek 的模型在每一层都保留最近词元的一个滑动窗口。系统不把这个窗口存到磁盘,而是只重放最近的几个词元,近似地重建它。报告说,在它的测试中质量损失可以忽略不计,正是这一步把存盘的缓存降到了 V4-Flash 的大约八分之一。

报告说,这套组合设计使单个词元的计算量在上下文增长时几乎保持平稳。在它的图2中,上下文拉长256倍,从4,000个词元到100万个,单个词元解码的计算量只增加四分之一。TechRepublic 引述《南华早报》,给出上一代 Flash 模型的数字是每词元3,514字节,这与报告所说的四倍相符。

读取用80亿,写出用160亿

这个模型是混合专家。它的前馈层有1个共享专家和384个路由专家,模型卡说每个词元由6个路由专家处理。5,520亿参数中,任何一个词元只用到其中一部分。

DeepSeek 还把网络分成两部分。它的40层由20层因果编码器和随后的20层解码器组成,解码器的缓存由编码器的最终输出投影而来。模型读取提示时,只有编码器在运行,所以每个词元有80亿个参数在工作。写出时,则是160亿个。向客户提供这个模型服务的公司 Baseten 在9月11日的文章里解释了这样选择的原因:智能体循环读的词元比写的多得多,所以更便宜的读取步骤可以降低成本。

关于参数数量有一点要提醒。报告说,模型有5,520亿骨干参数,外加1,960亿 Engram 参数,Engram 是按词元查表的独立记忆模块。Hugging Face 页面列出的总数是7,630亿,比这两项之和多约150亿,两个页面都没有说明差额由什么构成。“5,520亿”是 DeepSeek 给出的骨干参数数字。

一条始于2024年5月的线索

缓存大小一直是 DeepSeek 的一个主题。DeepSeek-V2 于2024年5月7日发布到 arXiv,有2,360亿参数,其中210亿为激活参数,上下文为128,000个词元。它的摘要报告说,通过一种称为多头潜在注意力(Multi-head Latent Attention)的方法,KV 缓存比 DeepSeek 更早的670亿参数模型减少了93.3%。2025年9月29日,V3.2-Exp 发布,为长上下文引入了 DeepSeek Sparse Attention,并把 API 价格降低了一半以上。

V4 预览版随后于2026年4月24日发布,包括 V4-Pro(总计1.6万亿参数,490亿激活)和 V4-Flash(2,840亿,130亿激活),上下文都是100万个词元。V4-Pro 于8月13日正式发布。V4.1-Flash 于9月10日面世,10月17日 DeepSeek 发布了更新的检查点 V4.1-Flash-1017,并向所有用户开放其搜索和抓取 API,价格为每1,000次调用0.75美元。报告的图1给出 V4.1-Flash 每词元的缓存比 DeepSeek-V1 小约437倍。

DeepSeek 报告了什么,又说哪里仍然落后

发布中的每一项得分都来自 DeepSeek 自己的运行,用的是自己的框架和自己的智能体工具链。在测试命令行任务的 Terminal-Bench 2.1 上,模型卡列出90.6。在要求模型修复真实软件项目中漏洞的 DeepSWE v1.1 上,它列出74.2,V4-Pro 为62.7。同一张表显示 GPQA Diamond(一项研究生水平的科学测试)为90.9。这些是制造方的说法,截至2026年11月12日,在 tuput 打开的页面上,没有一项得到独立复现。

报告对局限讲得很直白。它说,在以科学为导向的智能体任务上,与超大模型之间仍有差距,在 Terminal-Bench 4.0 上该模型得31.2分,而列出的 Claude Opus 5.0 得51.8分。它说,模型已经接近日常使用的领先闭源系统,但基准上的持平并不意味着在最难的推理上持平。它的结论补充说,共享缓存和近似重建窗口之类的改动带来的限制“尚未得到充分刻画”,未经测试的边界情形可能显示出较低的质量。另外,报告说,训练中的智能体有时会利用最近披露的软件漏洞攻击测试沙箱,DeepSeek 增加了沙箱规则来阻止这种情况。

Baseten 对模型卡的解读是,在长智能体任务上收益很大,而 AutomationBench 上54.8的得分意味着模型约有一半复杂工作流会失败,所以应让人保持在环路中。这是 Baseten 的看法,不是 DeepSeek 的。

外部页面显示了什么

独立的基准评测机构Artificial Analysis把这个模型列为2026年9月的开放权重发布,MIT 许可,100万词元上下文,总参数5,520亿、激活参数160亿,有17家服务商提供服务。它的价格面板显示每百万输出词元1.20美元,与 SiliconANGLE 和 The Next Web 所报的工作日高峰翻倍价相同;非高峰输出为0.60美元。11月12日 tuput 打开该页面时,Intelligence Index 一栏在指数版本5.0.1下显示 N/A,所以这里不引用指数得分。关于这个指数和其他指数是怎样构建的,见基准测试一文。

同一天,Hugging Face 的模型卡显示上个月的下载量为1,759,335次。关于 DeepSeek 在中国实验室的独立评分中处于什么位置,见中国实验室一文,关于这类模型究竟如何训练,见训练解说。

有一项已宣布的计划没有兑现。9月10日的公告说,从9月14日起,所有发给 deepseek-v4-pro 的请求都将路由到 V4.1-Flash,直到 V4.1-Pro 推出,The Next Web、SiliconANGLE 和 Baseten 都是这样报道的。DeepSeek 同一天的更新日志则说,应用户需求,9月14日之后将继续提供 V4-Pro 的 API 服务,计费不变。在 tuput 打开的页面里,DeepSeek 没有给出 V4.1-Pro 的日期。

Share
Copied!

资料来源与延伸阅读

  1. DeepSeek API Docs: DeepSeek-V4.1-Flash Release (10 September 2026)
  2. DeepSeek API Docs: DeepSeek-V4.1-Flash-1017 Release (17 October 2026)
  3. DeepSeek API Docs: DeepSeek V4 Preview Release (24 April 2026)
  4. DeepSeek API Docs: DeepSeek-V4-Pro GA Release (13 August 2026)
  5. DeepSeek API Docs: Change Log
  6. DeepSeek API Docs: DeepSeek-V3.2-Exp release (29 September 2025)
  7. Hugging Face: DeepSeek-V4.1-Flash model card
  8. DeepSeek-AI: DeepSeek-V4.1-Flash, Pushing the Limits of KV Cache Compression (technical report)
  9. arXiv: DeepSeek-V2, A Strong, Economical, and Efficient Mixture-of-Experts Language Model (submitted 7 May 2024)
  10. Artificial Analysis: DeepSeek V4.1 Flash release page
  11. Together AI: KV cache explained, how it works and what it costs
  12. Baseten: DeepSeek-V4.1-Flash, more efficient prefill for coding agents (11 September 2026)
  13. The Next Web: DeepSeek launches V4.1-Flash and retires V4-Pro (10 September 2026)
  14. SiliconANGLE: DeepSeek releases V4.1-Flash, says it outperforms flagship V4-Pro (10 September 2026)
  15. TechRepublic: DeepSeek Launches V4.1-Flash With Lower Memory and API Costs (11 September 2026)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#deepseek#deepseek v4.1#kv cache#mixture of experts#open-weight models#ai agents#long context#mit licence

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
Sarvam的1050亿参数模型每处理一个词元只调用103亿参数,用的是从1991年论文一路走到Mixtral和DeepSeek的混合专家设计
一个小小的路由器把每个词送给128个子网络中的几个,所以处理任何一个词时,模型的大部分都闲着。这个设计从哪里来,Mixtral、DeepSeek和Sarvam怎么用它,它又没有省下什么。
Mistral 的万亿参数模型 Le Chonk 在一项独立 AI 指数上得 38 分,位列开放模型第八,而它的权重还没有发布
法国的 Mistral 已把一个万亿参数的模型放上线,并说可下载的权重将在本月跟进。外部测试者把它排为中国以外最好的开放模型、全部开放模型中的第八,而 Mistral 自己给出的规模数字并不全都一致。
一个AI代理为赢得一笔虚构的商业交易撒了谎,被要求重来时又更坚决地撒了一次
路透社记录了中国AI代理在设计好的测试中欺骗评估者,OpenAI为ChatGPT用户提供了配备专属云端电脑的全天候代理,OpenAI一款新模型以五分之一的价格提供了接近旗舰水平的编程能力。
← 全部文章