Stable Diffusion

Stable Diffusion是一个开源的图像生成AI系统,由Anthropic公司开发。它基于 Transformer模型架构,可以通过文字描述生成高质量的图像。
Stable Diffusion的主要特点包括:

• 强大的图像生成能力。它可以根据文本描述生成非常逼真的图像,包括人物、风景、动物等各种主题。
• 对文本的理解能力强。它可以捕捉文本描述的关键信息,转换为视觉上的表现。
• 生成图像分辨率高。它可以生成512x512甚至1024x1024像素的高分辨率图像。
• 开源且易于使用。它建立在开源框架PyTorch等基础上,可以轻松地在GPU及普通电脑上运行。
• 训练数据量大。它的训练数据集包含大量高质量图像,这是它强大能力的重要基础。
• 结果多样化。每次输入相同提示,它都可以生成略有不同的结果,增加了结果的多样性。
• 控制能力强。用户可以通过调整文字提示、超参数等方式控制生成结果。

Stable Diffusion是一种潜在扩散模型（Latent Diffusion Model），能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说，我们只要给出想要的图片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的图像。Stable Diffusion作为新兴的AI生成模型,拥有强大的图像生成能力,是目前最先进的开源生成模型之一,值得关注。它的出现将推动创作界发生革命性的变化。

使用

尝试下效果

prompt：beautiful girl,bikini,sea,beach,sunshine

生成的效果如下：

效果不太好，我们来学习下prompt如何编写，再看看改善效果。

prompt的编写技巧

prompt 和 negative prompt

描述语分为正向/负向描述，它们也叫tag(标签）或prompt(提示词）
正面提示词：相比Midjourney，SD需要写得更精准和细致，描述少就给AI更多自由发挥空间。
负面提示词：不想让SD生成的内容。
正向：masterpiece, best quality, 画质词，画面描述。
反向：根据画面产出加不想出现的画面。

Prompt格式

第一段：画质tag，画风tag
第二段：画面主体，主体强调，主体细节概括（主体可以是人、事、物、景）画面核心内容
第三段：画面场景细节，或人物细节，embedding tag。画面细节内容
第二段一般提供人数，人物主要特征，主要动作（一般置于人物之前），物体主要特征，主景或景色框架等

Prompt规则细节

1. 提示词的顺序决定了权重的大小,越靠前的词汇权重越大,会对图像生成产生更直接的影响。
2. 生成图片分辨率越大,需要的提示词量也越多,否则不同的提示词会产生不一致的效果,相互干扰。
3. 使用括号可以精确调整单个词的权重值,提高或降低其对图像生成的影响程度。常用的权重调整范围建议控制在0.25到1.5之间,避免超出这个范围带来负面效果。
   方法如下：
   (word) - 将权重提高 1.1 倍
   ((word)) - 将权重提高 1.21 倍（= 1.1 * 1.1）
   [word] - 将权重降低至原先的 90.91%
   (word:1.5) - 将权重提高 1.5 倍
   (word:0.25) - 将权重减少为原先的 25%
   请注意，权重值最好不要超过 1.5

优化

根据上面的规则我们来改下下prompt

A beautiful young girl standing in the shallow seawater on a sunny tropical beach. She has long wavy blonde hair flowing in the ocean breeze. She's wearing a red floral bikini which compliments her tanned skin tone. Her fit athletic body is perfectly framed in this scene. She has a bright, energetic smile on her face as she's enjoying the warm ocean water washing over her feet. The background is a picturesque tropical beach scene with white sand, palm trees, and turquoise blue water sparkling in the bright sunlight stretching out to the horizon. This is a perfect summer beach day. The overall color tone is vibrant and cheerful. The girl looks natural, elegant, and carefree. This is a high quality, photorealistic image.

报错

“Unsafe content found”

继续优化

"A cheerful young woman smiling and having fun at the beach. She has long, dark brown hair blowing casually in the tropical breeze. She's dressed appropriately in a blue floral one-piece swimsuit. Posing happily on the shore, with one hand up to her forehead to shade her eyes. Behind her is a beautiful scenic view of bright turquoise waves gently lapping against the sandy shore. In the background, the wide open clear blue sky meets the ocean horizon. Palm trees and green vegetation dot the landscape. The sunlight is bright and warm. This is a high quality, idyllic summer beach scene."

主要修改的点包括:

1. 使用积极正面词语 como “cheerful”,“having fun”,“happily”,移除可能引起歧义的词汇。
2. 将比基尼改为更保守的连体泳衣。
3. 去掉只描写女孩的语句,加上与海滩景色的衔接。
4. 增加阳光、植被等宁静自然的元素。
5. 使用专业的视觉描述词语如“idyllic”,“scenic”等。
6. 强调图像质量要高,内容要正面积极。
7. 避免可能引起歧义或联想的表达。

看效果

很明显，改善很明显…… 哈哈哈哈哈哈哈 （如果被吓到实在不好意思，我也有点看恐怖片的感觉）

上面这些图是因为我Guidance Scale的参数设置太低了。

Guidance Scale

Stable Diffusion 模型中的 Guidance Scale 参数是调整文本提示(Text Prompt)对图像生成影响力的一个重要超参数。
Guidance Scale 参数的主要作用是:

1. 控制文本提示的重要性:

• 参数值越高,文本提示的影响就越大,生成图片会越关注文本提示的要求。
• 参数值越低,文本提示影响减弱,生成图片会更具原创性和多样性。

2. 平衡文本提示和训练数据:

• 参数值越高,依赖文本提示的信息更多,训练数据的影响被压制。
• 参数值越低,训练数据的信息起主导作用,文本提示只起辅助影响。

3. 调节生成图片质量:

• 适当的Guidance Scale可以帮助生成更高质量的图片。
• 参数过大或过小,都可能导致生成图片质量下降。
  通常Guidance Scale的取值范围在1-20之间。默认值是7,这是一个比较平衡的设置。使用时可以通过调整这个参数,来实现对生成图片的精细控制。
  Guidance Scale直接影响文本提示的作用强度,是Stable Diffusion中非常重要的一个生成控制超参数。

我们来调整下Guidance Scale参数

改后的效果如图（我实在不知道怎么修改CSDN才不违规了，一个连体泳衣都违规，其他平台都正常显示，只能马赛克了）：

总结

想要用Stable Diffusion生成高质量的图片,避免生成低质量的“烂图片”,可以注意以下几点:

1. 使用合理的提示词(Prompt)

• 提示词要简洁明确,避免歧义。important信息前置。
• 添加合适的描述词帮助生成细节。如大小,颜色,质感等。
• 使用正确的英文语法和拼写。
• 避免使用负面和敏感词汇。

2. 调整超参数

• 适当调高 Guidance Scale,加强提示词影响力。
• 调整 Steps(迭代次数)不要过少,一般100-200。
• 调试不同的 Sampler,如DDIM较平滑。

3. 使用高质量训练数据

• 大型模型效果更好,如Stable Diffusion v2。
• 尝试不同主题的训练数据,匹配生成目标。

4. 生成分辨率不要过低

• 分辨率过低会造成图片质量下降。
• 一般选择512x512 或更高分辨率。

5. 复核和选择图片

• 生成多张样本图片,挑选效果最佳的。
• 检查合理性,删除离题图像。
  通过以上方法,可以最大程度地避免Stable Diffusion生成不理想的低质量图片。但过程中也需要一定的试错尝试,以找到最佳设置。