12306网站制作,上海优化排名网站,网站建设排版规定,有限公司注册资金多少有什么区别#x1f31f; Stable Diffusion#xff1a;一种深度学习文本到图像生成模型 #x1f31f;
Stable Diffusion是2022年发布的深度学习文本到图像生成模型#xff0c;主要用于根据文本的描述产生详细图像。它还可以应用于其他任务#xff0c;如内补绘制、外补绘制#xff0… Stable Diffusion一种深度学习文本到图像生成模型
Stable Diffusion是2022年发布的深度学习文本到图像生成模型主要用于根据文本的描述产生详细图像。它还可以应用于其他任务如内补绘制、外补绘制以及在提示词指导下产生图生图的转变。 Stable Diffusion的开发和支持
Stable Diffusion是一种潜在扩散模型由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。它是由初创公司StabilityAI、CompVis与Runway合作开发并得到EleutherAI和LAION的支持。 截至2022年10月StabilityAI筹集了1.01亿美元的资金。 Stable Diffusion的源代码和模型权重
Stable Diffusion的源代码和模型权重已分别公开发布在GitHub和Hugging Face可以在大多数配备有适度GPU的电脑硬件上运行。而以前的专有文生图模型如DALL-E和Midjourney只能通过云计算服务访问。 Stable Diffusion的工作原理
Stable Diffusion是一种扩散模型的变体叫做“潜在扩散模型”latent diffusion model; LDM。扩散模型是在2015年推出的其目的是消除对训练图像的连续应用高斯噪声。Stable Diffusion由3个部分组成变分自编码器VAE、U-Net和一个文本编码器。与其学习去噪图像数据在“像素空间”中而是训练VAE将图像转换为低维潜在空间。添加和去除高斯噪声的过程被应用于这个潜在表示然后将最终的去噪输出解码到像素空间中。在前向扩散过程中高斯噪声被迭代地应用于压缩的潜在表征。每个去噪步骤都由一个包含ResNet骨干的U-Net架构完成通过从前向扩散往反方向去噪而获得潜在表征。最后VAE解码器通过将表征转换回像素空间来生成输出图像。研究人员指出降低训练和生成的计算要求是LDM的一个优势。 调节数据的编码
去噪步骤可以以文本串、图像或一些其他数据为条件。调节数据的编码通过交叉注意机制cross-attention mechanism暴露给去噪U-Net的架构。为了对文本进行调节一个预训练的固定CLIP ViT-L/14文本编码器被用来将提示词转化为嵌入空间。
stable diffusion使用方法
Stable Diffusion模型支持通过使用提示词来产生新的图像描述要包含或省略的元素以及重新绘制现有的图像其中包含提示词中描述的新元素该过程通常被称为“指导性图像合成”guided image synthesis[11]通过使用模型的扩散去噪机制diffusion-denoising mechanism。 此外该模型还允许通过提示词在现有的图中进内联补绘制和外补绘制来部分更改当与支持这种功能的用户界面使用时其中存在许多不同的开源软件。
Stable Diffusion建议在10GB以上的显存GDDR或HBM下运行 但是显存较少的用户可以选择以float16的精度加载权重而不是默认的float32以降低显存使用率。
stable diffusion①文生图
Stable Diffusion中的文生成图采样脚本被称为txt2img它接受一个提示词以及各种选项参数包括采样器类型、图像尺寸和随机种子。根据模型对提示的解释txt2img会生成一个带有不可见数字水印标签的图像文件。这个水印标签允许用户识别由Stable Diffusion生成的图像尽管调整大小或旋转图像会使水印失去有效性。Stable Diffusion模型是在由512×512分辨率图像组成的数据集上训练的因此txt2img生成图像的最佳配置也是以512×512的分辨率生成的。后来的Stable Diffusion 2.0版本引入了生成768×768分辨率图像的能力。
每次txt2img的生成过程都会使用一个影响生成图像的随机种子。用户可以选择随机化种子以探索不同的生成结果或者使用相同的种子以获得与之前生成的图像相同的结果。用户还可以调整采样迭代步数。较高的值需要更长的运行时间但较小的值可能会导致视觉缺陷。另一个可配置的选项是无分类指导比例值允许用户调整提示词的相关性。对于更具实验性或创造性的用例用户可以选择较低的值而对于旨在获得更具体输出的用例用户可以使用较高的值。
反向提示词是Stable Diffusion一些用户界面软件中的一个功能例如StabilityAI自己的“Dreamstudio”云端软件即服务模式订阅制服务。它允许用户指定模型在图像生成过程中应该避免的提示。这对于由于用户提供的提示词或模型初始训练而导致图像输出中出现不良特征例如畸形手脚的情况非常适用。与使用强调符相比使用反向提示词在降低生成不良图像的频率方面具有高度统计显著的效果。强调符是另一种方法用于为提示的某些部分增加权重在关键词中使用括号以增加或减少强调。
stable diffusion②图生图
Stable Diffusion提供了另一个取样脚本名为img2img。它接受一个提示词、现有图像的文件路径和一个从0.0到1.0之间的去噪强度参数。使用这些参数img2img可以在基于原始图像的基础上生成一个新的图像该图像也包含了提示词中提供的元素。去噪强度表示添加到输出图像的噪声量值越大图像的变化越多但可能与提供的提示在语义上不一致。图像升频是img2img的一个潜在用例。
在2022年11月24日发布的Stable Diffusion 2.0版本中引入了一个深度引导模型称为depth2img。该模型能够推断所提供输入图像的深度并结合提示词和深度信息生成新图像以保持新图像中原始图像的连贯性和深度。
Stable Diffusion模型的许多不同用户界面软件提供了通过img2img进行图生成图的其他用例。其中内补绘制inpainting是一个常见的用例用户可以提供一个蒙版描述现有图像的一部分然后根据提示词用新生成的内容填充蒙版的空间。随着Stable Diffusion 2.0版本的发布StabilityAI还创建了一个专门针对内补绘制用例的专用模型。另一个用例是外补绘制outpainting它将图像扩展到其原始尺寸之外并使用根据提供的提示词生成的内容来填充以前的空白空间。
结论
Stable Diffusion是一个包含多个脚本和模型的工具集用于生成图像并对图像进行处理。这个工具集提供了多种功能包括从文本提示生成图像、在现有图像上应用图像处理操作、以及根据图像的深度信息生成新的图像等。Stable Diffusion的目的似乎是通过这些脚本和模型来实现图像生成、图像处理和图像增强等任务并且可以调整噪声强度等参数来控制生成的图像质量。
