南京旭光建设监理网站首页,缙云 网站建设,Wordpress5主题破解版,建设网站基础利用ControlNet重新定义你的AI姿势
前段时间给大家分享了如何利用colab实现AI绘画自由#xff0c;现在Stable Diffusion WebUI Colab TW又更新了不少新功能。最重要的是可以通过谷歌硬盘的快捷方式导入模型#xff0c;极大的节省了谷歌硬盘容量。
众所周知#xff0c;谷歌…利用ControlNet重新定义你的AI姿势
前段时间给大家分享了如何利用colab实现AI绘画自由现在Stable Diffusion WebUI Colab TW又更新了不少新功能。最重要的是可以通过谷歌硬盘的快捷方式导入模型极大的节省了谷歌硬盘容量。
众所周知谷歌硬盘免费的只有15G而每个大模型基本都在23G。所以每次要么手动删除一些模型要么不挂载谷歌硬盘。前者麻烦后者下载图片更麻烦。。。
现在这些问题都解决了作者介绍了一种使用谷歌硬盘捷径节省空间的小技巧。只需要在以下模型站点里的模型以快捷方式保存到自己硬盘的对应位置即可。这里以模型站点一为例选中模型-右键将快捷方式添加到云端硬盘-按步骤选中自己硬盘的文件夹-添加快捷方式。具体如下图 这个时候你硬盘的模型文件应该是这样的其他对应文件夹也类似。 ⚠️如果站点里没有且是自己想要的模型就别删除了哈 将大模型删除后记得在回收站也清除这样就能腾出大量的空间了 当然缺点也有目前作者提供的站点包含的模型不多且都是大模型理论上lora模型也是可以的。所以如果大家有新的站点资源也可以分享哈一起做大做强。 需要注意的是ControlNet和T2IAdapter都放在ControlNet文件夹下如果没有则需要新建改文件夹。 模型站点一Anything, Counterfeit, VAEs 模型站点二AbyssOrangeMix, PastelMix 模型站点三ChilloutMix 模型站点四CamelliaMix2.5D, ControlNet, T2IAdapter 现在我们在重新回到colab上在2.1下载SD模型中的model_package选其他不用填url了。然后将3.1 下载Extensions里的所有插件全部勾选。完成这两步后其余全部默认点击全部运行即可。 首次安装完插件后就不用再勾选这些了直接用默认的就行。下次只用将2.1下载SD模型中的model_package选其他就可以直接运行了启动效率直线上升 现在打开webUI你就发现那些快捷方式的模型都可以选择了 而且也多了不少插件具体的插件介绍可以看原作的Extensions整理。介绍的已经很详细了我就不赘述了。
ControlNet应用
回到正题上次应该算是AI绘画入门吧之后我也学了一些新知识顺带分享一下虽然不及各大佬千分之一但胜在直白因为高深的我也不懂毕竟也新手。哈哈
使用起来也很简单在原先的基础上点开文生图下面的ControlNet设置参数后启用即可。
ControlNet参数解释 在刚开始的时候并不需要全部尝试大部分的参数选择默认即可。个人建议点击添加图片-勾选启用和猜测模式-选择预处理器和模型-点击预览结果-文生图即可 有时候点击预览结果没有展示等等即可个人使用感觉这个webUI有点反应迟钝还很容易错误导致需要重启。 简单示例 单人 在网上随机下载个姿势复杂的单人照片最好不要有复杂背景。然后按照上述步骤操作选择canny相关预处理器和模型。预览结果如下发现边缘检测的还是很不错的。 然后设置文生图基本参数和提示词点击Generate即可产出的结果还是很不错的。 虽然猜测模式不需要提示词但是容易出现质量不好的图所以可以适当加一些提高质量的提示词即可。下面可参考的参数设置发现大部分默认的效果也很不错。 多人 canny在单人模式表现的非常优异不知道多人姿势怎么样。同样的在网上随机下载一个多人姿势的图片。然后和上面步骤一样预览发现边缘检测的效果也很好。 但是点开后就会发现人物脸部并不精致。而且由于脸部较小在不做特别参数处理时出的人物图容易崩坏。这个时候就需要进行HiRes.fix尤其是真人模型。以下是一个参数的参考 ⚠️3次元的放大算法建议R-ESRGAN 4x2次元和2.5次元建议R-ESRGAN 4x Anime6B
下面是3次元至2次元的结果模型分别为chilloutmix_NiPrunedFp32Fix、camelliamix25D_v10、Counterfeit-V2.5_pruned 有没有发现3次元的人脸基本一致这是因为我在提示词加上了lora如果不加的话人物比较真实但不精致。因此如果想在多人的模式下加上lora的话就需要用到别的方式了例如Latent CoupleOpenPose。 总结
本文介绍了如何利用快捷方式节省谷歌硬盘并开始通过ControlNet控制人物的姿势。这里只介绍了其中的一种算法canny–快速模仿别人的姿势。其他的算法大伙可以自行尝试或者参考ControlNet使用教程里面详尽了各个算法的差异与主要用途。例如适合建筑的mlsd适合CG建模的normal_map提取骨骼姿势的openpose等。
ControlNet除了自身插件外还可以和别的插件合用例如Latent CoupleComposable Lora、poseX、OpenPose Editor、Depth Library。极大的丰富了ControlNet的可玩性。这个有时间单独再说一期
值得一提的是有时候当你发现怎么调参数图都崩坏了可以换一些随机种子大量出图找一些比较好的图后再修改其他参数试试。
最后只要你的手机或者pad能kx上网可以将这个colab保存到收藏夹。在手机和pad上就可以AI绘画了能限制你的只有colab的免费时间了
