网站做线上销售,拓者室内设计,西安网络推广外包,网站颜色搭配网站本文使用工具#xff0c;作者:秋葉aaaki 免责声明: 工具免费提供 无任何盈利目的 大家好#xff0c;我是风雨无阻。
今天为大家带来的是 AI 绘画Stable Diffusion 研究#xff08;三#xff09;sd模型种类介绍及安装使用详解。 目前#xff0c;AI 绘画Stable Diffusion的…
本文使用工具作者:秋葉aaaki 免责声明: 工具免费提供 无任何盈利目的 大家好我是风雨无阻。
今天为大家带来的是 AI 绘画Stable Diffusion 研究三sd模型种类介绍及安装使用详解。 目前AI 绘画Stable Diffusion的各种模型层出不穷这些模型都有什么作用又该怎么安装使用对于新手朋友来说是非常大的困扰。 这篇文章将会为你介绍AI 绘画Stable Diffusion的模型种类、模型的安装及使用方法、以及模型的选择和下载。 不同的模型有不同的画风如线条风格、手绘风格、立体风格、科幻风格、真人风格。
还有不同的概念例如人物、物体、动作等。
这些都是目前Stable Diffusion 模型众多的原因。
那么Stable Diffusion的模型具体有哪些种类呢都有什么作用呢 一、Stable Diffusion的模型详解
1、模型种类
当前常见的模型可以分为两大类 大模型这里的大模型特指标准的 latent-diffusion 模型拥有完整的 TextEncoder、U-Net、VAE。 微调大模型的小模型
由于想要炼制、微调大模型非常的困难需要比较好的显卡、比较高的算力 因此更多的选择是去炼制小型模型。 这些小型模型通过作用在大模型的不同部分来修改大模型从而达到目的。 常见的用于微调大模型的小模型又分为以下几种
Textual inversion (Embedding模型)Hypernetwork模型LoRA模型 还有一种叫做 VAE VAE, Variational autoencoder变分自编码器负责将潜空间的数据转换为正常图像的模型通常来讲 VAE 可以看做是类似滤镜一样的东西会影响出图的画面的色彩和某些极其微小的细节。 如图 其实大模型本身就自带 VAE 的但是一些融合模型的 VAE坏了 例如Anything-v3有时画面发灰就是因为这个原因。所以需要外置 VAE 的覆盖来补救。 由于模型的种类不同、作用位置也不同所以想要使用这些模型必须分清这些模型类别并且正确的使用模型才会生效。 2、模型的区分方法 如何区分这些模型对新手来说是一件非常困难的事情因为他们都可以拥有一样的后缀名。 这里感谢 秋葉aaaki 提供的模型种类检测工具 在本地将模型文件拖入即可识别。 3、模型后缀名详解 目前常见的 AI绘画标准模型后缀名有如下几种 ckpt pt pth 这三种是 pytorch深度学习框架的标准模型格式由于使用了 Pickle会有一定的安全风险 。 safetensors新型的模型格式 。正如同名字safe为了解决前面几种模型的安全风险而出现的safetensors 格式与 pytorch 的模型可以通过工具进行任意转换只是保存数据的方式不同内容数据没有任何区别。
注意safetensors模型需要 webui 更新到2022年12月底以后的版本才能用。 4、常见模型安装及使用方法 1、大模型安装及使用
大模型常见格式为 ckpt顾名思义就是大。大小在GB级别常见有 2G、4G、7G模型模型大小不代表模型质量。 安装方法放在Stable-diffusion文件夹内。
\sd-webui-aki-v4.2\models\Stable-diffusion如图 使用方法 第一步在 webui 左上角选择对应的模型 第二步手动选择vae并应用保存 前面也说到部分合并出来的大模型VAE烂了画面会发灰因此需要去设置中手动选择vae并应用保存。 2、Embedding (Textual inversion)模型安装及使用 embedding 模型常见格式为 pt、png图片、webp图片大小一般在 KB 级别。 例如 安装方法
放在 embeddings 这个文件夹里面
\sd-webui-aki-v4.2\embeddings使用方法
生成图片的时候需要带上文件名作为 tag。
例如上面这张图里面的 shiratama_at_2-3000.pt 这个模型使用的时候就需要带上这个tagshiratama_at_2-3000 (3)、Hypernetwork安装及使用 常见格式为 pt大小一般在几十兆到几百兆不等由于这种模型可以自定义的参数非常多也有的 Hypernetwork 模型可以达到 GB 级别。 例如 安装方法放在hypernetworks 文件夹内。
\sd-webui-aki-v4.2\models\hypernetworks使用方法
第一步点击生成下方的第三个按钮
第二步选择hypernetworks 标签页 如图所示 4、LoRA模型安装及使用 常见格式为 pt、ckpt大小一般在8mb~144mb不等。 安装方法模型需要放在 Lora 文件夹。
\sd-webui-aki-v4.2\models\Lora使用方法
第一步点击生成下方的第三个按钮
第二步选择Lora 标签页 如图 第三步点击一个模型以后会向提示词列表添加类似这么一个tag 也可以直接用这个tag调用lora模型。
lora:模型名:权重 5、VAE 模型安装及使用 常见格式为 .pt 如图 安装方法模型需要放在 VAE 文件夹。
\sd-webui-aki-v4.2\models\VAE模型放置完毕后在设置页面进行如下设置并重启。 如果没有sd_vae 选项则需要补充上。
添加在 sd_model_checkpoint 之后语法如下
,sd_vae好由于篇幅原因模型的安装和使用就介绍到这里。 大家都知道要用Stable Diffusion画出漂亮的图片首先得选好模型。 目前模型数量最多的两个网站是civitai 和huggingface。
civitai又称c站有非常多精彩纷呈的模型有了这些模型我们分分钟就可以变成绘画大师用AI画出各种我们想要的效果。
我们这里就以 civitai 站下载模型进行安装为例进行详细说明。 二、模型的下载及选择方法 1、直接搜索想要的模型
最上面是搜索框我们可以直接通过关键词来搜索想要的模型。 2、按照菜单分类选择模型
点击左上角菜单可以看到这里是按照 以下几项来分类的
最高评价HIGHEST RATED最多下载MOST DOWNLOADED点赞最多MOST LIKED讨论最多MOST DISCuSSED最新上传NEWEST。 3、按照时间排序来选模型 点击右上角可以按照时间排序来选模型最近一周、最近一月、所有时间的。 4、按照模型类型、Stable Diffusion版本选择模型 Stable Diffusion目前有SD 1.4、SD 1.5、SD 2.0、SD 2.0 768、SD 2.1、SD 2.1768、SD 2.1 Unclip 等版本。 注意: 通常来说版本越高效果越好。 目前比较流行的还是1.5版本1.5之前的版本没啥限制可以自由出各种图片。 2.0以上版本提供了一个 图像无损放大模型Upscaler Diffusion 可以将生成图像的分辨率提高 4 倍适合出高清大图。2.0加入了一些限制不能出一些不可描述的图片。
所以具体使用哪个版本还是要根据自己的需求来选择。 挑到喜欢的模型后怎么安装模型呢 三、模型的下载安装实操 接下来我们来说明一下安装实操步骤。 1、下载模型文件在c站 搜搜到喜欢的模型并下载 2、下载成功后我们会获得模型文件 3、将模型文件使用模型种类检测工具 获取模型的种类 如图 将模型文件拖入该工具后会获得以下信息
文件名
dunhuangV3.safetensors文件大小
144.11 MB模型种类
LoRA 模型模型用法
放入 models/Lora 文件夹后在 webui 中“生成” 按钮的下方选择 按钮找到 Lora 选项卡点击使用。Info
{
ss_batch_size_per_device:6
ss_bucket_info:{}
ss_bucket_no_upscale:True
ss_cache_latents:True
ss_caption_dropout_every_n_epochs:0
ss_caption_dropout_rate:0.0
ss_caption_tag_dropout_rate:0.0
ss_clip_skip:None
ss_color_aug:False
ss_dataset_dirs:{}
ss_enable_bucket:True
ss_epoch:10
ss_face_crop_aug_range:None
ss_flip_aug:False
ss_full_fp16:False
ss_gradient_accumulation_steps:1
ss_gradient_checkpointing:False
ss_keep_tokens:0
ss_learning_rate:0.0001
ss_lowram:False
ss_lr_scheduler:cosine_with_restarts
ss_lr_warmup_steps:0
ss_max_bucket_reso:1024
ss_max_grad_norm:1.0
ss_max_token_length:None
ss_max_train_steps:6750
ss_min_bucket_reso:256
ss_min_snr_gamma:None
ss_mixed_precision:fp16
ss_network_alpha:64.0
ss_network_dim:128
ss_network_module:networks.lora
ss_new_sd_model_hash:e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7
ss_noise_offset:None
ss_num_batches_per_epoch:675
ss_num_epochs:10
ss_num_reg_images:0
ss_num_train_images:4050
ss_optimizer:bitsandbytes.optim.adamw.AdamW8bit
ss_output_name:dunhuang_20230625021029
ss_prior_loss_weight:1.0
ss_random_crop:False
ss_reg_dataset_dirs:{}
ss_resolution:(512, 768)
ss_sd_model_hash:1d5a534e
ss_sd_model_name:majicmix_realv6_fp16.safetensors
ss_sd_scripts_commit_hash:(unknown)
ss_seed:2361018997
ss_session_id:801586992
ss_shuffle_caption:False
ss_tag_frequency:{}
ss_text_encoder_lr:1e-05
ss_total_batch_size:6
ss_training_comment:None
ss_training_finished_at:1687645290.3126323
ss_training_started_at:1687630234.599286
ss_unet_lr:0.0001
ss_v2:False
sshs_legacy_hash:14dab82f
sshs_model_hash:f747a8b2ab9a85d407f26183afb59d53fc023c2fbde928fe8512721fda5a11aa
}根据工具输出信息可知 dunhuangV3.safetensors 模型的模型种类是LoRA 模型。 4 、将模型dunhuangV3.safetensors 放入 models/Lora 文件夹。
5、在 webui 中“生成” 按钮的下方选择 按钮找到 Lora 选项卡点击使用。
好今天的内容就到此结束我们来总结一下。
今天主要给大家分享了 Stable Diffusion的模型种类说明以及常见模型的下载、安装、使用方法 没理解到的朋友请收藏起来多看几遍。
关注我后续继续分享sd更多干货 敬请期待。
