企业网站一定要从建立网站开始,企业招工,商城网站 备案,唐山建设工程信息网站今天#xff0c;我们发布了单步 GAN 升频器的第二个版本#xff1a; AuraSR。
我们在上个月发布了 AuraSR v1#xff0c;社区的反响让我们深受鼓舞#xff0c;因此我们立即开始了新版本的训练。 AuraSR 基于 Adobe Gigagan 论文#xff0c;以 lucidrain 的实现为起点。Gi…今天我们发布了单步 GAN 升频器的第二个版本 AuraSR。
我们在上个月发布了 AuraSR v1社区的反响让我们深受鼓舞因此我们立即开始了新版本的训练。 AuraSR 基于 Adobe Gigagan 论文以 lucidrain 的实现为起点。Gigagan 升频器是专门为生成的图像设计的在训练过程中缺乏降级预处理。因此Aura SR 无法对 JPG 压缩图像进行无伪影的升频。 我们看到社区中有人希望将 AuraSR 用于非生成图像并进行大量不同类型的降解因此我们在 v2 中加入了类似 ESRGAN 训练的降解过程。
此外我们注意到V1 版往往会添加过多细节。我们将这一问题归咎于训练数据和测试数据之间的不匹配。在训练 v1 时我们会将较大的图像调整为 256 像素作为基本事实并将低分辨率输入的图像再次调整为 64 像素。
然而在推理过程中V1 会将较大图像的 64 像素平铺放大。一小块图像的细节与整幅图像的细节存在明显差异。因此在 v2 的训练中我们使用 1024 像素图像的 256 像素平铺。这使得训练更接近推理过程中模型的使用方式。
我们做了最后一项改进以解决推理过程中的接缝问题。出现接缝的原因是推理使用了不重叠的图块。对于某些图像来说接缝并不明显但对于许多图像来说这却是一个大问题。我们更新了推理库 aura使其包含一种新的推理方法 upscale_4x_overlapped该方法使用重叠的瓷砖执行两次推理并对结果求平均值以消除接缝。 放大图像的细节。从左到右依次为 AuraSR v1 未进行瓦片混合接缝和伪影清晰可见AuraSR v2 进行了瓦片混合RealESRGAN_4xPlus。与 RealESRGAN 相比AuraSR v2 能够保留更多野外图像的细节而不会产生伪影。
Aura SR v2 采用与 v1 相同的架构因此可以直接替换。该模型已在 Huggingface 上发布并已部署到 fal 的 AuraSR 终端。
我们计划使用更高分辨率的图像、更多的人脸图像以及全新的架构来训练 v3。不过在此之前请享受 AuraSR v2
