做dota2菠菜网站,wordpress twilight saga 主题,googlechrome浏览器,唐山网站建设赫鸣科技在我们使用SD web UI的过程中#xff0c;有很多采样器可以选择#xff0c;那么什么是采样器#xff1f;它们是如何工作的#xff1f;它们之间有什么区别#xff1f;你应该使用哪一个#xff1f;这篇文章将会给你想要的答案。
什么是采样#xff1f; Stable Diffusion模…在我们使用SD web UI的过程中有很多采样器可以选择那么什么是采样器它们是如何工作的它们之间有什么区别你应该使用哪一个这篇文章将会给你想要的答案。
什么是采样 Stable Diffusion模型通过一种称为“去噪”的过程来生成图像这个过程涉及到在潜在空间中逐步从随机噪声中提取出有意义的图像特征。
模型首先在潜在空间中生成一个完全随机的噪声图像。这个图像是随机的不包含任何有意义的信息。噪声预测器也称为去噪函数估计这个随机图像中的噪声。这个预测器是模型的一部分它学习如何从噪声中恢复出清晰的图像。模型从初始的随机噪声图像中减去预测的噪声以便逐步揭示出隐藏在噪声下的图像内容。这个过程会重复多次通常是十几次每一步都会生成一个新的采样图像。这些采样图像逐渐从随机噪声转变为越来越清晰的图像。经过多次迭代后最终得到的图像是一个干净的、去噪后的图像它反映了文本提示中描述的内容。
下面是一个实际的采样过程。采样器逐渐产生越来越干净的图像。 Noise schedule
在Stable Diffusion模型的去噪过程中噪声表noise schedule扮演着至关重要的角色。
噪声表是一个预先定义的计划它决定了在每一步采样过程中应用的噪声水平。
在去噪过程的第一步图像充满了高噪声这是因为初始图像是完全随机的噪声图像。在这个阶段噪声水平最高图像看起来是不连贯和随机的。随着去噪过程的进行噪声表会逐步降低每个采样步骤中的噪声水平。这种降低是按照预定的计划进行的旨在逐渐从噪声中提取出有意义的图像特征。在去噪过程的最后一步噪声水平降低到零此时图像应该是清晰且与文本提示相匹配的。理想情况下最终图像应该几乎没有噪声且细节丰富准确地反映了文本描述的内容。
下面是一个Noise schedule的基本工作原理 如果我们增加采样步骤数那么每个步骤之间的降噪幅将会变小。这有助于减少采样的截断误差。
可以比较一下 15 个步骤和 30 个步骤的噪音时间表。 不同的采样器
webUI自带了很多不同的采样器并且这个采样器的个数还在不停的增加那么这些采样器都有些什么不同呢 老式ODE solvers
让我们看一下最简单采样器。这些采样器算法已经被发明很久很久了。它们是常微分方程 (ODE) 的老式采样器。
Euler– 最简单的采样器。
Heun– 更准确但更慢的 Euler 版本。
LMS(线性多步法) – 与 Euler 的速度相同但(据说)更准确。
Ancestral采样器
如果你注意观察的话可以看到某些采样器的名称上带有一个字母’a’。 比如 Euler a DPM2 a DPM 2S a DPM 2S a Karras
他们是Ancestral采样器。Ancestral采样器在每个采样步骤中都会向图像添加噪声。它们是随机采样器因为采样结果具有一定的随机性。
当然也有很多随机采样器的名字上是不带a的。
使用Ancestral采样器的缺点是图像不会收敛。也就是说你有可能不会得到相同的结果。
还是刚刚的例子我们比较一下使用 Euler a 和 Euler 生成的图像。(为了便于对比我们加入了另外一个收敛的采样器) 可以看到Euler和DMP 2M Karras最终生成的图片其实是大致一样的但是他们两个跟Euler a的结果不太相同。
所以为了可重复性那就用收敛采样器。如果要生成细微的变化那么可以考虑使用随机采样器。
Karras noise schedule
带有“Karras”标签的采样器使用 Karras 文章中推荐的 noise schedule。和传统的采样器相比你会发现噪声步长在接近尾声时变小了。这样的变化据说可以提高图像的质量。 DDIM 和 PLMS
DDIM(去噪扩散隐式模型)和 PLMS(伪线性多步法)是原始 Stable Diffusion v1 附带的采样器。DDIM是首批为扩散模型设计的采样器之一。PLMS 是 DDIM 的更新、更快的替代方案。
这两个采样器已经过时了我们通常不会使用他们。
DPM 和 DPM
DPM(扩散概率模型求解器)和 DPM 是专为 2022 年发布的扩散模型设计的新采样器。它们表示具有类似体系结构的求解器系列。DPM 和 DPM2 相似但 DPM2 是二阶的(更准确但更慢)。DPM 是对 DPM 的改进。
DPM adaptive是自适应调整步长。所以它可能很慢并且不能保证在采样步骤数内完成。
UniPC
UniPC(统一预测器校正器)是 2023 年发布的新采样器。受常微分方程求解器中预测变量-校正器方法的启发它可以在 5-10 个步骤内实现高质量的图像生成。
怎么选择采样器
那么这么多的采样器我们应该如何选择呢我想我们可以从采样算法是否收敛采样的速度和最终生成图片的质量这几个方面来具体考量需要使用什么样的采样器。
是否收敛
首先对Euler、DDIM、PLMS、LMS Karras 和 Heun这些老式的常微分方程求解器或原始扩散求解器来说PLMS和LMS Karras收敛效果不佳。Heun收敛得更快。
对于所有的Ancestral采样器来说都是不收敛的。这些采样器有Euler a, DPM2 a, DPM 2S a, DPM2 a Karras, DPM 2S a Karras。
DPM SDE 和 DPM SDE Karras 与Ancestral采样器存在相同的缺点。它们不仅不会收敛而且图像也会随着步数的变化而显着波动。
DPM 2M 和 DPM 2M Karras 表现良好。当步数足够高时karras变体收敛得更快。
UniPC 收敛速度比 Euler 慢一点但还不错。
采样速度
下图是使用不同采样器的采样速度 虽然 DPM adaptive在收敛方面表现良好但它也是最慢的。
其余的渲染时间可以分为两组第一组花费的时间大致相同(约 1 倍)另一组花费的时间大约是两倍(约 2 倍)。时间花费2倍的是因为他们用的是2阶求解器。
二阶求解器虽然更准确但需要对去U-Net进行两次评估,所以它们花费的时间大概是2倍。
质量
当然前面讲的收敛和速度都是次要的如果最终生成的图片质量不好那么收敛和速度也就无从谈起了。
我们比较一下常用的一些采样器的最终图片效果 大家觉得哪幅图更好事实上哪幅图更好是一个主观上的标准每个人的审美观点不同最后可能选出来不同的结果。
所以…哪一个是最好的
我不能说哪个是最好的但是我可以给点我的建议。
如果您想快速、有创造力并且质量不错那么可以这样选择
DPM 2M Karras20-30 步UniPC20-30 步。
如果您想要高质量的图像并且不关心收敛性那么可以这样选择 DPM SDE Karras10-15 步(注意这是一个较慢的采样器) DDIM10-15 步。
如果您喜欢稳定、可重现的图像请避免使用任何Ancestral采样器。
Euler和Heun也是不错的选择.
写在最后
感兴趣的小伙伴赠送全套AIGC学习资料包含AI绘画、AI人工智能等前沿科技教程和软件工具具体看这里。
AIGC技术的未来发展前景广阔随着人工智能技术的不断发展AIGC技术也将不断提高。未来AIGC技术将在游戏和计算领域得到更广泛的应用使游戏和计算系统具有更高效、更智能、更灵活的特性。同时AIGC技术也将与人工智能技术紧密结合在更多的领域得到广泛应用对程序员来说影响至关重要。未来AIGC技术将继续得到提高同时也将与人工智能技术紧密结合在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理形成各个领域的知识点汇总它的用处就在于你可以按照下面的知识点去找对应的学习资源保证自己学得较为全面。 二、AIGC必备工具
工具都帮大家整理好了安装就可直接上手
三、最新AIGC学习笔记
当我学到一定基础有自己的理解能力的时候会去阅读一些前辈整理的书籍或者手写的笔记资料这些笔记详细记载了他们对一些技术点的理解这些理解是比较独到可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频看视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。 五、实战案例
纸上得来终觉浅要学会跟着视频一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。
