开发一个app需要哪些技术,视频网站 如何做seo,wordpress 木马 查,余姚网站建设在哪里一、前言
本章是《Stable Diffusion 从入门到企业级实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》第03节#xff0c; 利用Stable Diffusion ControlNet Canny模型精准控制图像生成。本部分内容#xff0c;位于整个Stable Diffusion生态…一、前言
本章是《Stable Diffusion 从入门到企业级实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》第03节 利用Stable Diffusion ControlNet Canny模型精准控制图像生成。本部分内容位于整个Stable Diffusion生态体系的位置如下图黄色部分所示 二、定义
ControlNet v1.1 共提供了14个功能模型每一个模型对应一个适用的业务场景具体的模型信息如下图所示 本文介绍的是ControlNet Canny模型Canny边缘检测算法是一种提取图像中边缘信息的算法,它由John F. Canny于1986年开发,是最广泛使用的边缘检测算法之一。stable diffusion 结合 canny 边缘检测将经典边缘检测算法与 AI 生成结合的创新尝试,可以获得更好的生成效果,有效拓展了 Stable diffusion 的应用范围。
三、工作流程
使用ControlNet Openpose工作流程如下图所示 完整的工作流程描述如下所示
对输入图像进行 canny 边缘检测,得到边缘图像。将边缘图像中的边缘线条部分作为 mask,与原图中的非边缘部分组合,得到输入图像的边缘 mask 图。将组合后的边缘 mask 图作为条件之一,输入到 stable diffusion 模型中。stable diffusion 根据边缘信息及其他文本描述,生成包含相应边缘特征的新图像。可以创建多个不同边缘样式的 mask,输入到 stable diffusion 中,生成具有这些边缘样式的图片。
四、创作成果
利用ControlNet Canny技术通过姿态检测实现的图像精准控制效果如下图所示 目标建筑和源建筑具有相同的边缘特征。首先识别源图像的边缘特征然后根据边缘特征进行目标图像生成。
五、创作过程
5.1 工作步骤
整个的创作过程可以分为4个步骤如下图所示 环境部署启动ControlNet Canny WebUI服务
模型下载下载ControlNet Canny 模型
操作实战选择输入、配置参数和调试
运行演示展示图像生成的效果
5.2 环境部署
为了降低集成封装对于我们了解底层实现的影响我们采用的ControlNet v1.1 原生框架部署而非集成可视化界面环境具体的ControlNet Openpose服务程序如下图所示我们只需要启动该程序即可 5.3 模型下载
ControlNet v1.1 canny 预训练模型主要有两个如下图所示 5.4 操作实战
因为是可视化操作界面可以一目了然的了解操作的方法和过程具体细节我们不再赘述直接上配置界面如下图所示 5.5 运行演示 六、小结
本章是《Stable Diffusion 从入门到企业级实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》第03节 利用Stable Diffusion ControlNet Canny模型精准控制图像生成。下一节我们将给大家带来利用Stable Diffusion ControlNet Depth深度信息精准控制图像生成。
