Skip to content
2022年8月22日发布的Stable Diffusion,用约50步去噪把随机噪声变成512乘512的图像,所用的思路最早见于2015年一篇受物理学启发的论文
人工智能与科技

2022年8月22日发布的Stable Diffusion,用约50步去噪把随机噪声变成512乘512的图像,所用的思路最早见于2015年一篇受物理学启发的论文

插图:tuput

中文

2015年到2022年间的六篇论文,把同一个思路,也就是学会逆转一个缓慢加噪的过程,从玩具数据一路带到文字提示。Stability AI的发布让这个成果跑在了标称6.9 GB显存的显卡上,Hugging Face的指南则描述了那个50步的过程。

· · 1 分钟阅读

Stability AI在2022年8月22日宣布Stable Diffusion公开发布,并公布了权重、模型卡和代码。公司说,最终的显存占用应为6.9 GB。参与了这次发布的Hugging Face当天也发了一份指南。它描述了用户输入提示后发生的事:模型从一小块数字网格里的随机噪声出发,一边读取提示,一边从中去除噪声约50次,最后把结果解码成一幅512×512像素的图片。

这50步背后的方法,出现在2015年3月一篇借用了物理学的论文里。本文沿着六篇论文和这次发布一路讲下来。下面的每个数字都是作者自己的,是在他们自己的硬件和数据集上测得的。各篇论文用的数据集和设置不同,所以文中不拿任何得分在论文之间做比较。

先慢慢毁掉一幅画,再学会还原它

Jascha Sohl-Dickstein、Eric Weiss、Niru Maheswaranathan和Surya Ganguli在2015年3月12日把论文提交到arXiv。论文标题点出了非平衡热力学,也就是研究正在变化而不是已经稳定的系统的物理学。摘要说,其核心思想受非平衡统计物理启发,是通过一个前向扩散过程慢慢破坏数据中的结构,然后学习一个能恢复这些结构的反向过程。

以Hugging Face指南里的例子来说:一张宇航员骑马的照片。给照片加一点随机噪声,再加一点,如此继续,直到只剩下一片杂波。前向方向不需要学习。神经网络要训练的是相反的任务:给定一张稍微更嘈杂的图像,产出一张稍微更干净的。要生成新东西,就从纯杂波出发,反复使用这个网络。

2015年的作者训练的模型有上千层或上千个时间步。他们在一个二维的瑞士卷(一团螺旋形的点云)、一个二进制序列、MNIST手写数字,以及CIFAR-10、树皮和枯叶数据集中的小幅自然图像上做了测试。

每次去掉一点噪声,重复一千次

加州大学伯克利分校的Jonathan Ho、Ajay Jain和Pieter Abbeel在2020年6月19日发布了他们的论文。他们写道,据他们所知,此前还没有人证明扩散模型能生成高质量的样本,而他们的结果证明了这一点。在CIFAR-10这个小图像集上,不使用任何标签生成,他们报告的Inception得分为9.46,弗雷歇初始距离(Fréchet Inception Distance,FID,一种得分,越低表示生成的图像在统计上越接近真实图像)为3.17,他们称这在当时是最先进的水平。在256×256的LSUN(一组卧室、教堂和猫的照片)上,他们报告的样本质量与较早的生成器ProgressiveGAN相近。

这个方法很简短。论文用了1000步,每一步加入的噪声量从0.0001到0.02,按均匀的增量递增。训练时,方法选一张图像,选一个随机步数,加上对应数量的噪声,然后让网络预测被加进去的噪声。采样从纯噪声开始。在1000步的每一步里,网络预测噪声,采样器把它减掉,除最后一步外,再补回一小剂新的随机性。

这个网络是U-Net,一种先把图片缩成粗略的概要、再扩展回来的图像模型,在16×16的分辨率上带有自注意力层。步数通过Transformer论文里的正弦位置嵌入输入网络,这一设计也出现在语言模型背后,见大语言模型是怎样训练的的讲解。CIFAR-10模型有3570万个参数(网络内部可调整的数字),在一块TPU v3-8(谷歌的一种加速器,作者拿它与八块V100 GPU相比)上训练到完成用了10.6小时。生成一批128张256×256的图像要300秒。

更快的采样,以及同一个思路写成方程

一千次顺序计算太慢了。Jiaming Song、Chenlin Meng和Stefano Ermon在2020年10月6日的论文里做了测量:在一块Nvidia 2080 Ti显卡上,用DDPM采样5万张32×32像素的图像大约要20小时,而GAN(更早的一类生成器,一次计算就生成一张图)不到一分钟。对256×256的图像,他们给出的数字是近1000小时。

他们的解法是去噪扩散隐式模型(denoising diffusion implicit models,DDIM),训练完全保持原样,只改变样本的抽取方式。作者报告说,用20到100步就能得到与1000步模型相当的样本,速度提高10到50倍,并指出每个样本的耗时随步数呈直线增长。

七周后的2020年11月26日,Yang Song和五位合著者(其中有2015年那篇论文的Sohl-Dickstein)把这个过程改写成一个随机微分方程(内置了随机运动的方程),从数据走向噪声,再配一个反向方程,从噪声走回数据。用他们的话说:“从数据生成噪声很容易;从噪声生成数据才是生成式建模。”他们写道,这个框架涵盖了早先的基于分数的方法和扩散方法,并报告首次用基于分数的模型生成了1024×1024的图像。

让画面听从文字

图像生成器得遵循提示,扩散需要一种办法来做到这一点。较早的方法叫分类器引导,借助一个单独的图像分类器来调整采样。Jonathan Ho和Tim Salimans在2022年7月26日发布的一篇论文(一个简短版本曾发表在NeurIPS 2021的一个研讨会上)里表明,不需要分类器也可以做到。

在无分类器引导中,一个网络同时训练两项任务。对一部分训练样本,标签或提示被随机换成一个空的占位符,于是网络学会在有它和没有它的情况下都去噪。采样时把两种预测合在一起,由一个权重w决定结果向提示偏多少。在64×64的ImageNet上,作者尝试了以0.1、0.2和0.5的概率丢掉条件,发现0.5一贯比另外两个差。调高权重会提高每张图像的质量,同时降低图像之间的多样性。

这个方法要花时间。每个采样步需要通过网络两次,一次带提示,一次不带,作者把这点列为一个可能的缺点。

Stable Diffusion用的就是这个方法。v1-4模型卡说,它训练的最后阶段有10%的时间丢掉了文字条件,“以改进无分类器引导采样。”Hugging Face的指南把面向用户的控制项写作guidance_scale,默认值为7.5,7到8.5之间的值通常不错。指南提醒,数值很大时得到的图像也许好看,但变化较少。

在更小的画布上工作

像素空间里的扩散很昂贵。Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser和Björn Ommer在2021年12月20日的论文开头就说,最强大的扩散模型往往要花几百个GPU日来训练。他们引用的数字是,较早的一个模型需要150到1000个V100日,从这类模型生成5万个样本,在一块A100上约需五天。

他们的办法是在潜空间里做扩散,潜空间指的是图片的压缩数字概要。先训练一个单独的自编码器,即一对能把图像缩小再放大的网络。然后扩散在这个小小的概要上进行,由解码器把完成的概要变回像素。作者还在U-Net中加入了交叉注意力层,让文字或其他输入可以引导它。

在单块NVIDIA A100上,参数数量相同、在ImageNet上训练200万步时,他们发现像素空间中的扩散与压缩因子为8的扩散之间相差38个FID点。论文把小因子下的结果,归因于把大部分不可察觉细节的压缩留给了扩散模型自己。

Stable Diffusion用的因子是8。模型卡说,它把高H、宽W、三个颜色通道的图像,映射成H/8×W/8、四个通道的潜变量。对一张512×512的图像,这就是一个64×64的网格,Hugging Face的指南称之为8×8=64的空间压缩比。按简单的除法,图像中的786,432个数字变成了潜变量中的16,384个数字,网络在每一步要处理的量降到了原来的四十八分之一。

提示由CLIP(ViT-L/14版本)的文本编码器转成数字,模型卡说这个编码器是固定的、预训练好的,所以不随其余部分一起训练。Hugging Face把它的输出描述为一个77×768的数字块,由U-Net通过交叉注意力来读取。

2022年8月22日发布了什么

Stability AI的公告感谢了Hugging Face的法律、伦理和技术团队,以及云服务商CoreWeave的工程师。模型采用Creative ML OpenRAIL-M许可证,公司说,这个许可允许商业和非商业使用,同时由用户对合乎伦理和法律的使用负责,并要求任何分发都附带该许可证。默认包含一个安全分类器,用来去除不想要的输出。推荐的权重是v1.4,公司说推荐使用NVIDIA芯片,对AMD以及Apple M1和M2芯片的支持将随后推出。公司发布的页面把日期写作“Aug 22”,没有年份,而Hugging Face关于同一次发布的指南注明的日期是2022年8月22日。

模型卡写明Robin Rombach和Patrick Esser为开发者,并说Stable Diffusion v1是在LAION-2B(en)及其子集上训练的。2022年10月16日的LAION-5B论文描述了用CLIP过滤出的58.5亿个图文对,其中23.2亿个带英文文本。硬件方面,模型卡列出的是32×8块A100 GPU;碳排放估算方面,它列出的是在美国东部的一个亚马逊云服务区域,使用A100 PCIe 40GB卡15万小时,并估计为11,250公斤二氧化碳当量。这些是模型卡自己的估算。

这些步数在实际使用中是有意义的。在Hugging Face的指南里,默认是50步去噪,而只用15步的一次运行保持了同样的整体结构,但宇航员的服装和马的形体出了问题。

模型卡说它做不到什么

Hugging Face的指南说,后来的版本1.5、2和2.1,只要对代码做很少的改动就能运行。本文只描述v1-4和截至2022年的论文。由Rombach和Esser撰写的v1-4模型卡,对这个版本的局限讲得很具体。该模型做不到完美的照片级真实感,无法渲染可读的文字。它在组合性任务上表现不佳,例如“蓝色球体上放一个红色立方体”,人脸和人物也可能生成得不对。

模型卡说,模型主要用英文说明文字训练,在其他语言上效果较差,并且自编码器是有损的。它还报告说,数据没有去重,所以训练集中多次出现的一些图像被记住了,并指向一个公开的搜索工具供核查。它补充说,训练集含有成人内容,并称这个数据集在没有额外安全机制的情况下不适合用于产品。用这类数据训练是否合法,正由法院来裁定,2026年的三项关于AI训练的裁决就是例子。模型卡把冒充和虚假信息列为滥用情形;关于选举中AI伪造内容的规则,见这篇关于美国联邦通信委员会、欧盟和印度的文章。

2020年的采样器为它生成的每一张图像都用了1000步。Hugging Face在2022年8月22日的指南称,50步通常足以得到高质量的512×512图像。

Share
Copied!

资料来源与延伸阅读

  1. Sohl-Dickstein, Weiss, Maheswaranathan and Ganguli: Deep Unsupervised Learning using Nonequilibrium Thermodynamics (arXiv:1503.03585, 12 March 2015)
  2. Ho, Jain and Abbeel: Denoising Diffusion Probabilistic Models (arXiv:2006.11239, 19 June 2020; NeurIPS 2020)
  3. Song, Meng and Ermon: Denoising Diffusion Implicit Models (arXiv:2010.02502, 6 October 2020; ICLR 2021)
  4. Song, Sohl-Dickstein, Kingma, Kumar, Ermon and Poole: Score-Based Generative Modeling through Stochastic Differential Equations (arXiv:2011.13456, 26 November 2020; ICLR 2021)
  5. Ho and Salimans: Classifier-Free Diffusion Guidance (arXiv:2207.12598, 26 July 2022)
  6. Rombach, Blattmann, Lorenz, Esser and Ommer: High-Resolution Image Synthesis with Latent Diffusion Models (arXiv:2112.10752, 20 December 2021; CVPR 2022)
  7. Stability AI: Stable Diffusion Public Release (22 August)
  8. CompVis and Stability AI: Stable Diffusion v1-4 model card (Hugging Face)
  9. Patil, Cuenca, Lambert and von Platen, Hugging Face: Stable Diffusion with Diffusers (22 August 2022)
  10. Schuhmann et al.: LAION-5B, an open large-scale dataset for training next generation image-text models (arXiv:2210.08402, 16 October 2022)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#diffusion models#stable diffusion#generative ai#image generation#latent diffusion#classifier-free guidance#ddpm#stability ai

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
毅力号火星车于2025年12月8日和10日在杰泽罗陨石坑行驶456米,路线点由AI模型起草、NASA工程师审核
这辆火星车平均离地球2.25亿公里,它走的是一个研究过轨道图像的语言模型勾勒的路线,而且先由火星车团队的模拟器签字放行。谁做了什么、用谁的原话来说,这些数字能说明什么、不能说明什么,本文逐一交代。
斯坦福一项基于数百万条工资单记录的研究发现,受人工智能影响最大的职业中,年轻员工的就业比应有水平低了19%,但作者说这并不能证明是人工智能造成的
在数百万条ADP工资单记录中,处于人工智能最擅长的那些工作里的年轻员工,正落后于他们的同龄人。至于人工智能是不是原因,作者拒绝下这个结论。
学院第99届奥斯卡规则要求剧本由人撰写、表演角色由人出演,而人工智能工具对提名既无帮助也无妨碍
规则手册的文字,逐段解读,附它所依据的2025年4月的措辞、学院自己的说法,以及效果制作公司和学院科学与技术奖已经认可的机器学习工具。
← 全部文章