个人网站制作软件哪个好,做装修效果图的网站有哪些,短视频营销系统,iis6 建设网站浏览目录 模型生成效果展示#xff08;prompt 全公开#xff09; 如何注册 Stable Diffusion 使用 SD#xff08;dreamstudio.ai #xff09;的收费标注如何 SD 提供哪些参数可以设置 如何使用种子来改进一张作品 我用 SD 创作的图片著作权如何归属#xff0c;可以拿来商…目录 模型生成效果展示prompt 全公开 如何注册 Stable Diffusion 使用 SDdreamstudio.ai 的收费标注如何 SD 提供哪些参数可以设置 如何使用种子来改进一张作品 我用 SD 创作的图片著作权如何归属可以拿来商用吗 Stable Diffusion 背后的研发团队 SD 是如何训练出来的 SD 是开源的吗 SD 未来有哪些可期待的亮点
附录一些有用的资源从本月初开始拿到 Stable Diffusion 的内测资格我就再也没有打开过沉迷许久的 Disco Diffusion。
五天前被视为当下最强的 AI 图像生成器的 Stable Diffusion 正式对公众开放通过网站注册即可使用提供了简洁、友好的 UI 交互相比 DD 大大降低了 AI 图像创作工具的使用门槛和难度。而且生成速度快生成的图形各方面表现都非常优秀。除了要花钱简直没缺点啦。
不想花钱还有好消息SD 同时正式开源了代码、模型和权重参数库部署到自己本地的 GPU上就等于免费啦。
先看效果。以下图像都是 Stable Diffusion 直出无任何后期。Prompt 在图的下方。其中 7 张作品由某不愿意透露姓名的高手提供感谢他授权并愿意分享宝贵的 prompt。
PS. 如所有的 AI 生成模型的效果演示下列图像都经过了 cheery pick从同一个 prompt 的 4~10 次生成结果中挑选出了最令我满意的一张。
先来看几种常见的艺术媒介
黑白版画无论是主题的准确性、氛围感、生物体和建筑体结构还是构图、笔触肌理、光影对比都接近完美。 black and white illustration of bloodborne, close-up street view of a victorian town at night, horrible, moon rising, by bernie wrightson, by dan mumford, by aaron horkey, cross hatching, high contrast, super detailed, minimalist composition, 4k illustration print of horse head sculpture, super detailed, by dan mumford, by aaron horkey, high contrast, low poly style a bear stealing food from a cooler beside camping fire, black and white engraving printmaking, cross hatching
水彩cold pressed 水彩纸的纹理也还原得很清楚。 fine watercolor painting portrait of beautiful girl holding a lazy cat, neat, elegant, by ilya kuvshinov, by ben quilty, by hikari shimoda
厚涂油画
thick coated oil painting close-up portrait of sad boy, by ben quilty, by hikari shimoda
**艺术家**用 SD 创作的《席勒的自画像》prompt 只用了 5 个词第一次就跑出了颇为惊人的成果。跟年轻时的席勒颇为相像也继承了其油画作品中标志性的笔触和用色除了缺失一些表现主义的扭曲与癫狂感。 Self-Portrait by Egon Schiele 席勒及其原作
艺术风格
Stable Diffusion 生成荷兰黄金时代的静物油画——公牛头骨。 a bull skull, Dutch Age, oil on canvas, super detailed, high saturation, Golden ratio, centered and symmetrical composition 1628 年荷兰黄金时代的静物画大都会博物馆馆藏 Pieter Claesz, Still Life with a Skull and a Writing Quill
风光摄影类作品的生成低分辨率糖水片随便出啦。 a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus
建筑和风景画题材无论是哥特小镇的夜景还是中国古建筑的雪景都能驾驭。 illustration of close-up street view of gothic town, night, by peter mohrbacher, by alex andreev, by jacek yerka, large depth of field, super detailed, digital art, trending on artstation, minimalism winter winter winter winter a chinese temple building on hill and cliff with many peach trees blossoms, on himalayas, fantasy scene, fairy particle, illustration comic manga painting of road environment : 6 fantasy environment, digital painting, volumetric lighting by feng zhu, 3d alejandro alvarez alena aenami artworks in 4 k beeple, by thomas kinkade hearstone league of legends dofus overwatch匿名高手作品
宏大场景的渲染 military base,cybernetic baroque centipede cyborg urban epic scene wall is berlin iron, inside organic robotic tubes and parts translucent surface, German Third Reich army cyberpunk 2077 Intricate Details, Hyperrealism, Wet, unreal engine, 3d, reflections by Arsen Asyrankulov and Liudmila Kirdiashkina 匿名高手作品 Hyper detailed painting of a cyberpunk cyberpunk cyberpunk TRAIN STATION, epic angle , ribcage skeleton symmetrical artwork, Hell of fire,3d with depth of field, blurred background, translucent, nautilus, energy flows of water and fire. a highly detailed epic cinematic concept art CG render. made in Maya, Blender and Photoshop, octane render, excellent composition, cinematic dystopian brutalist atmosphere, dynamic dramatic cinematic lighting, aesthetic, very inspirational, arthouse. y Greg Rutkowski, Ilya Kuvshinov, by James Jean and dan mumford 匿名高手作品
3D 渲染类浮雕徽章皇冠珠宝水中的烟雾状蓝色墨水 fine silver badge, baroque pattern, relief angry cat, medieval, merchandise display, photorealistic, hyper realistic, octane render fine golden crown, baroque pattern, merchandise display, photorealistic, hyper realistic, dramatic and epic, octane render close-up maximalist rendering of lizard shape jewelry, rubies, gold, diamonds, obsidian, sapphires, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, fluid dark metal full display of baroque style jewelry design, a pair of earrings, blue gemstones with different saturation winged butterflies and pear shaped diamonds, roses sharp, highly detailed vray render, flash 匿名高手作品 rendering of blue ink in clear transparent water, smoke
数字插画类 the last spaceship passing through the dark wormhole, dark and deathful, by kilian eng the last supergigantic spaceship floating across the gate of wormhole, dark and deathful, by kilian eng close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art close-up maximalist illustration of black panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed maximalist close-up illustration cat portrait like nobility, royal cat queen portrait, aristocratic dress, by makoto shinkai, by akihiko yoshida, by james jean, super detailed, fluid dark metal close-up maximalist illustration of lion, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed close-up maximalist illustration of lion, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed
被视为 AI 图像生成之皇冠明珠的肖像画Stable Diffusion 也充分胜任。无论侧视¾ 视图还是正面肖像无论插画、动漫、水彩等手绘抽象风格还是照片类高仿真度的光影渲染无论男女老幼无不游刃有余且在艺术感和风格多样性上远超 DALL·E。 maximalist close-up illustration side - view portrait of a beautiful elegant graceful girl, nautilus, long curls hairstyle, dressing with blue sea wave, art by james jean, bexquisite details, undersea background, golden ratio composition maximalist close-up portrait illustration of a beautiful elegant cool siren, long curly hairstyle, dressing with blue sea wave and golden fish, art by james jean, by makoto shinkai, by agnes lawrence pelton, golden ratio compositionsuper detailed maximalist close-up watercolor of a cool youth queen portrait with vintage golden crown, long curly hairstyles, with death rose and sea wave background, by makoto shinkai, art by james jean, by agnes lawrence pelton, exquisite detailsgolden ratio composition close-up side view portrait of cyborg geisha, super intricate ornaments artwork by tooth wu and wlop, by alena aenami, by alphonse mucha, by brian froud, by pablo amaringo, super detailed, large depth of field portrait of anime feminine long hair silver hair young man in suit, pen and ink, intricate line drawings, by craig mullins, ruan jia, kentaro miura, greg rutkowski, loundraw and dan mumford 匿名高手作品 portrait of anime feminine long silver hair young man in suit, epic pose, pen and ink, intricate line drawings, by craig mullins, ruan jia, kentaro miura, greg rutkowski, loundraw and dan mumford 匿名高手作品 portrait of anime muscular young man in armor, epic pose, pen and ink, intricate line drawings, by craig mullins, ruan jia, kentaro miura, greg rutkowski, loundraw and dan mumford 匿名高手作品
名人肖像生成是颇有争议的功能DALL·E 等大厂都对人名设置了输入过滤器。但 stability.ai 对此秉承一个开放的态度。在 prompt 里输入名人如神奇女侠 Gal GadotSD 能够准确生成对应的脸部。 portrait painting of beautiful Gal Gadot as a Mermaid, undersea, super real, highly detailed face, realistic face, beautiful detailed eyes, fantasy art, sharp focus, front light
如何注册 Stable Diffusion 使用
从 7 月 30 日开始Stability.ai 通过 waitlist 申请名单共分 4 波邀请了 15000 名用户参与了内测。
内测持续了约三周时间在一个 Discord 群组中进行跟 Midjournet 的服务模式一样。群组中共有 50 个创建通道。所有人只要输入 !dream prompt 参数 就发起了一次图片生成请求免费的几秒钟内 discord bot 就会将结果图片呈现给你。没有跟 bot 的私有对话通道这意味着所有人的 prompt 及对应结果都是公开的。你可以看到所有参与测试用户进行的创作实验。
8 月 9 日内测用户达到一万人时SD 发布了discord 内的活跃数据每秒钟有 20 张图片生成每天一千七百万张平均每人每天生成了 170 张图片相当疯狂。
8 月 13 日第一阶段内测 (使用 discord bot 功能)关闭不再接受新的申请。
8 月 20 日Stability.ai 宣布第一阶段内测正式结束discord bot 服务关闭。Stable Diffusion 的服务转移到网页正式对公众开放。当然免费午餐也结束了。
现在所有人注册账号就可以在网页上使用。既然是网页服务在手机、平板、任何操作系统都可以使用哦
https://beta.dreamstudio.ai/ Stable Diffusion dreamstudio.ai 的收费标注如何
所有新注册的用户都能免费获赠价值两英镑的 200 个点数。每次标准生成耗费 1 个点数。
1 次标准生成指的是生成单张 尺寸为 512*512Steps 为 50 的图片。如果你想要提高步数和尺寸所消耗的点数将成倍增加。 参考官网给出的下表可见最小尺寸 512*512 的图像如把 steps 设为 150消耗的点数为 3价值 0.03 英镑。而最大尺寸最高步数的单张图片生成将消耗 28.2 点数价值为 0.28 英镑。 相比同类服务的收费
DALL·E 的定价是 美元 15 刀115 次生成。每次生成请求会返回 3~4 张 1024*1204 尺寸的结果图片每次耗费 0.13 美元约等于 0.11 英镑。
Midjournet 则为按月订阅收费个人用户有每月 10 美元和 30 美元两档分别对应 200 和 900 次标准生成或放大请求1 次标准生成请求对应 1 GPU minute在 fast 模式下。每次生成会获得四张 256*256 的初始结果你可以选择放大每次放大也耗费 1 GPU min。超过限额后每 60 GPU min 售价 4 美元。但使用这两档订阅服务你的 prompt 和结果图片都将暴露在十分混乱的公共频道中除非你每月再画上个 20 美元才能享有私密的服务通道。
有人可能会认为生成大尺寸图片Stable Diffusion 的定价看起来太贵。但这三种生成模型的结果图片尺寸并不能简单换算也并不完全等同于画质。
我的实验经验表明对于 Stable Diffusion想要生成大尺寸图片将图片高度和宽度的设置拉到最高 1024px 并非一个好的选择。如 512*768 的尺寸生成的人像很可能出现上下两张脸。768*512 的横幅尺寸生成的景观画也一定概率会在地平线上横排出两个主题对象。目前我大部分较好构图的结果都是使用默认尺寸 512*512 生成的这跟模型的算法相关。 beautiful portrait by Karol Bak, sci-fi, digital art a beautiful landscape photography of mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamu
从画质和细节丰富程度上比较Stable Diffusion 的 512*512 毫不逊色于 DALL·E 2 的 1024*1024。而 Midjournet 的画质和噪点问题则一直是社区诟病的 新算法版本中已有很大改善。
Stable Diffusion 提供哪些参数可以设置
不像 Disco Diffusion 需要掌握对 20~30 个参数的学习和实践运用SD 只提供了 7 个可设置的参数非常简单。 长宽尺寸并不是数值越大效果越好长宽的理想范围都是在 512~768 px 之间除非你想要的生成效果不在乎主题对象的重复出现。希望获得更高分辨率的图片最好还是先用 SD 生成以后再寻找合适的模型进行 upscale。
CFG scale**类似 DD 里的 CGS 参数。**越高的数值会让生成结果跟 prompt 匹配度更高同时也会让结果图片的饱和度和对比度更高颜色更平滑纹理更少。但高于 20 后会出现不良效果。 **Steps**diffusion model 生成图片的迭代步数每多一次迭代都会给 AI 更多的机会去比对 prompt 和 当前结果去调整图片。更高的步数需要花费更多的计算时间也相对更贵。但不一定意味着更好的结果。当然迭代步数不足少于 50肯定会降低结果的图像质量。
Number of images: 每次 prompt 指令生成多少张图片结果供选择。4 张是一个比较理想的选择因为 stable diffsuion 的种子随机性很强同一批返回结果里可能有好有坏差距很大。当然选择生成的数量越多计算时间就越长每多一张就要多花一张的 credit。 black and white pen illustration a running cat, super detailed, by dan mumford, by aaron horkey, high contrast
**Sampler**扩散去噪算法的采样模式。两个带 _ancestral 的可能会带来不一样的效果ddim 和 plms 的结果差异会很大其它留给你们自己去实验咯。
共有如下几种可供选择ddim, plms, k_euler, k_euler_ancestral, k_heun, k_dpm_2, k_dpm_2_ancestral, k_lms
推友 Erblicken 给出了他的实验结果 Seed生成每张图片时的随机种子这个种子是用来作为确定扩散初始状态的基础。所以同样的 prompt 同样的参数设置 同样的种子每次生成都会得到几乎一模一样的结果图像。如何运用种子对于当前可玩参数较少的 SD 而言成了最有意思的部分。
如何使用种子来改进一张作品
bartman081523 使用同一个种子 14586 生成的一组图片每张轻微替换了 prompt 中的一两个关键字。实验结果很明显锁定一个种子后再调整 prompt可以保持构图、布局大致相同在细节和色调上带来变化。
prompt: countryside in japan, sunrise, foggy | midday | evening, cloudy | nighttrees, mountains, watercolor-wash 胖手AI艺术家和菜头使用同一个种子每次更换 prompt 中的年龄得到了一个女人从半岁到 200 岁各个年龄段的照片合成的 gif最后一张 3934… 岁一个非常大的数字和菜头表示 “SD 证明了人类有轮回”……。 WeirdStableAI 用同一个种子做了 47 次生成每次更换了 prompt 艺术风格/流派 修饰词得到了有趣的结果对照。 https://pbs.twimg.com/media/FZrVDVaXEAwnTYG?formatjpgname4096x4096 高清原图
所以如果你从一次 prompt 里得到了一个布局、构图和主题都很满意的结果可以把种子 copy 下来用于下一次生成。 关闭 Random Seed 随机种子按钮在输入框里粘贴种子再根据需要调整 prompt 或参数这样就能对结果图片进行持续的调整或优化。 经过测试可以对结果有影响的 prompt 调整除了替换部分关键字还包括更改关键词的排序修改分隔逗号改变修饰词例如把 by xx艺术家 改为 in the style of 或 art by 等都是值得尝试的技巧。
还有一个比较 hack 的技巧是在你想强调的关键词上加多组小括号括号越多对这个关键词的强调越重。不一定对所有 prompt 都有效。下面是我做的一个实验锁定种子后使用同一个 prompt :
Close-up side view portrait of Cyborg Geisha, rotobic, Machina, super intricate ornaments artwork, by Tooth Wu and wlop, by Alena Aenami, by Alphonse Mucha, by Brian Froud, by Pablo Amaringo, super detailed, large depth of field
从上到下图 1~4我分别给 Geisha (艺妓) 这个关键字添加了 0、2、4、7 组小括号像这样写
Close-up side view portrait of Cyborg (((((((Geisha)))))))) , rotobic, Machina, super intricate ornaments artwork ……
明显可见图4 呈现了更多的人脸更多更准确的五官细节而 Cyborg, rotobic, Machina 这些修饰词的比重下降了。
除了小括号之外你还可以试试对关键词添加多组单引号或双引号。 在使用锁定种子这一技巧时需要注意种子确定噪音的初始状态所以对尺寸设置做任何改变后同一个种子就无法重复了。
如果 SD 运行的版本有所不同种子也可能失效。
我用 Stable Diffusion 创作的图片著作权如何归属我可以拿来商用吗
取决于你运行 Stable Diffusion 时是通过哪种服务
1自己部署已经开源的 Stable Diffusion也就是说用的是自己的 GPU 资源所生成图片Output的著作权LicensorStability.aiclaims no rights。
我理解得没错的话就是结果图片著作权和如何对外授权都归你自行定义Stability.ai 不做约束也不会共享你的著作权和收益。 开源模型的授权协议全文请访问下面链接 对 Output 的声明在第6章。
https://huggingface.co/spaces/CompVis/stable-diffusion-license
2使用 dreamstudio 网站、官方 discord bot 或 其它 Stability.ai 直接提供的生成服务, 作品著作权归属就需要注意了。TOS 里明确了你拥有生成作品的著作权但同时也强制你将作品以 CC0 1.0 授权给 Stability.ai 和 通用公共领域。
通俗点解释你可以商用或非商用自己创作的图像但你的图像只要是通过上述服务生成的就自动变成了 CC0 1.0 授权。成为通用公共领域 royalty-free 的图片资源。服务提供商 Stability.ai 和该服务上其它用户包括爬虫跟你享有同等的对你作品进行分发、复制、改编、修改 等权益无需经过你同意也无需付费包含商用目的。
这也意味着你使用上述服务生成的图像以后也会进入训练数据集哦
TOS 全文https://beta.dreamstudio.ai/terms-of-service
使用其它接入 Stable Diffusion API 的服务例如 Nightcafe需要参考对应服务提供商的协议。 Stable Diffusion 背后的研发团队
Stable Diffusion 所属的 Stability.AI 是一家创始于英国伦敦的年轻的人工智能解决方案提供商。公司 slogan 就是 AI by the people, for the people 显示其愿景中对开放的承诺及开源协作的重视。
其官网简介上也提到 We are unafraid to go against established norms and explore creativity. “在探索创新的道路上并不惧于挑战已有规则”。
在 Stability.AI 官网上列出的他们资助的诸多 AI 研究团队或项目中有两个跟AI 图像生成领域 密切相关
**EleutherAI**去中心化组织的 AI 开源研发团队。虽然他们自称草根但在大型语言模型 (GPT-NeoX-20B)、机器学习图像生成这两个领域已经是开源团队中的翘楚。
EleutherAI 的核心成员 Katherine Crowson RiversHaveWings数据科学家和 Ryan Murdoch advadnounAdobe的机器学习算法工程师开始实验一种之前没有人想到过的做法将两种不同的神经网络模型 CLIP 和 GAN 连接起来。2021年1月其成果作为 notebook 发布瞬间引爆了上千的业界转发。这个 notebook 就是 CLIP VQGAN 第一个 CLIP guided text-to-image 模型的实现通过输入一小段 prompt让深度学习网络为你生成对应的图片。
而后来我们熟知的 Disco Diffusion 就是 CLIP VQGAN 的下一代进化CLIP Diffusion 生成模型。
VQGAN CLIP 引领了全新一代 AI 图像生成技术的风潮你会在几乎所有开源 TTI 模型的简介都里看见对 Katherine Crowson 的致谢她被称之为是这一代模型的奠基者是当之无愧的。
EleutherAI 正计划训练可以比拼当下最大规模的 GPT-3 模型175B 参数的语言模型。再加上当前正热的 Stable Diffusion 的成功EleutherAI 显然是 OpenAI 不可小觑的开源世界挑战者。
LAION 是一个跨全球的非营利 ML 研究机构今年 3 月开放了当前最大规模的开源跨模态数据库包含 5.85 Billion 个的 CLIP-filtered 图片-文本对是它上一个版本 LAION-400M 的十四倍大。可以被用来训练类似 DALL·E、DD、SD 这样的 图像/文本生成模型image/text generative models也可以用于训练 CLIPContrastive Language-Image Pre-Training model这样可用于给文本和图像的匹配程度打分的模型这两者都是现在 AI 图像生成模型的核心部分。
除了提供 5B 这样的海量语料库LAION 还训练 AI 根据艺术感或视觉美感Aesthetics给LAION-5B 里图片打分。把高分图片归进了一个叫 LAION-Aesthetics 的子集。
https://github.com/LAION-AI/laion-datasets/blob/main/laion-aesthetic.md
LAION-5B 数据集里搜索 cat 的结果 LAION-Aesthetics 数据集里搜索 cat 的结果 Aesthetics score 从 0~10 一共 10 个分数等级8 分以上的 800 万张7 分以上的 1.2 亿张。使用高美感分数的数据集训练出来的 TTI 模型当然能更大概率生成符合人类审美的结果。这也是为什么相较其它模型Stable Diffusion 更有艺术感艺术感对风格和流派的把握更准确更多样。 Stable Diffusion 是如何训练出来的
、SD 的基础是 Latent Diffusion 这个生成速度快、对计算资源和内存消耗需求小的扩散模型。再结合已在 DALL·E 2 和 Imagen 取得惊人进展的 conditional diffusion model 相关的论文及实践成果。
其训练模型的核心数据集则是前文介绍过的 LAION-high-resolution 和 LAION-Aesthetics。使用 AWS 提供的 4000 块 A100 显卡组成的强力计算集群花费约 15 万小时的训练完成了第一个版本。
慕尼黑大学机器学习研究小组前海德堡大学 CompVis Lab的 Robin Rombach 领导研发的 使用 Latent Diffsuion 合成高分辨率图像合成的模型架构视频编辑软件 Runway 开发者 Patrick Esser 一起做的研发加上 ELeutherAI 团队的 Katherine Crowson、JDP 和 LAION 项目团队在模型训练上的集体努力。Stability.ai 提供计算资源训练模型和产品开发。
具体技术细节请移步
https://huggingface.co/blog/stable_diffusion
训练过程中的 3 个 checkpoint
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
论文 《High-Resolution Image Synthesis with Latent Diffusion Models 》
https://arxiv.org/abs/2112.10752 Stable Diffusion 的开源
Stability.ai 动作非常迅速地践行了它们之前所作的开源承诺。8 月 22 日所有代码、模型和权重参数库已经在 Huggingface 的 Github 上开放
https://github.com/huggingface/diffusers/releases/tag/v0.2.3
或
https://huggingface.co/CompVis/stable-diffusion
这也就意味着你可以在自己本地部署并免费运行 Stable Diffusion 啦。
Stability.ai 的发布公告中称 Stability Diffusion 可以部署在 10G 显存的消费级显卡上使用生成 512*512 尺寸的图片只需要几秒。当下开源模型中推荐 v1.4 470K, 显存消耗约为 6.9 G对比DD 动辄需要 3090 这一的高端显卡和数十分钟的等待时间大大降低了当前开源 TTI 模型的使用门槛。
SD 开源模型的授权协议是 Creative ML OpenRAIL-M license在 非有害目的 的条件下允许商用和非商用。
你还可以试试 Huggingface 的 Diffuser library 强烈推荐, 将 Stable Diffusion 作为 pipeline 中的模型运行使用和安装说明的详情参考访问这个 colab notebook
https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb
huggingface 的 space 上也可以直接体验 SD demo
https://huggingface.co/spaces/stabilityai/stable-diffusion
Stable Diffusion API
A reference Python client that can be installed via pip using pip3 install stability-sdk
https://github.com/Stability-AI/stability-sdk
A ipynb notebook that shows how to use it from ipython or Collab
https://github.com/Stability-AI/stability-sdk/blob/main/nbs/demo_colab.ipynb
A .proto file that can be used to generate gRPC (https://grpc.io/) stubs for your favorite language! We have internally used this to generate stubs for Python, Golang, and TypeScript/JavaScript
https://github.com/Stability-AI/stability-sdk/blob/main/src/proto/generation.proto
Stable Diffusion 未来有哪些可期待的亮点
**功能上**根据各渠道泄露的消息 和 当下AI图像生成常见 pipeline 的实现可行性大家都非常期待的 init image 和 mask 功能应该很快就会支持。
**Init Image**基于一张你上传的底图配合 prompt 生成底图的变体或对底图进行风格或材质的渲染还可以精确控制 底图 和 text prompt 两者的对生成结果的影响比重。
Mask: 在 DALL·E 也被称为 inpaint 或 outpaint。
在原始图片上你想修改的地方标记出 mask 蒙版比如用笔刷涂抹或橡皮擦除 配合promptAI 可以在蒙版标记区域补上新的内容或重新生成局部完成对原图的修补这就是 inpaint。
例如左图由 SD 生成我用蒙版遮盖了不太完美的右眼和牙齿的右边部分再重新生成得到修补结果如右图。只是目前右图现在是转移到 DALL·E 里实现的。 蒙版的标记可以是在画面内inpaint也可以是画面外outpaint。
左图是 SD 生成的原图将原图放在一张较大的空白画布中再补充上 prompt 添加了修饰词 with blue sea wave and golden fish background再次生成就完成了右图等于把图像外接了一圈。这种功能可以用于修补不完美的构图或从一个很小的画面通过多次生成构建出一个很大的场景。 **模型的更新方面**Stability.ai 承诺会在接下来的一段时间里将发布当前 v1.4 模型的优化版本以及其他变体和架构以提高性能和质量。甚至有望支持其在 AMD、Macbook M1/M2 和其他芯片组上运行。目前还是只推荐使用 NVIDIA 芯片。
接口和应用 AI 图像生成应用中的前辈 NightCafe.studio 刚刚已经接入了 Stable Diffuion 用户可以在 DD、SD、VQGAN 和 风格迁移 这几大类模型中四选一。
基于已经 Stability.ai 已经开放的 API相信你很快可以在大部分 AI 图像生成应用或 APP 里都用上 SD。 专精于 AI 人脸生成的应用 Artbreeder 刚刚发布了 跟 Stable Diffusion 合作的应用 collage.artbreeder.com。 这个应用很有意思你可以在空白画布上画一些形状用纯色或噪点填充或添加一些现成的元素比如上图中的月亮然后 写好 prompt 引导 AI 生成下面那个 AI 的滑条可以设置画布上底图对结果的影响比重。然后生成…… 一看就明白这个应用基本就是我前文说过的 init image 功能啦。只是这个底图是在网页上画出来的。
此外Stability.ai 在发布 SDK 的时候也承诺会尽快发布支持多语言的模型还有使用 Golang 开发的高性能 Discord bot也是开源的哦。这也就意味着你可以在自己建的 discord group 里接入 SD 生成 bot当然如果像使用 SAAS 服务那样直接使用它家的 API需要按次支付成本哦。
我们也有理由展望未来会有越来越多的 IM、SNS 或游戏中接入 SD 或类似 SD 这样快速易用的 AI 图像生成模型。
而图像生成的下一步就是 视频、可交互动视、虚拟实境 和 3D。
想象一下在 游戏 或 元宇宙 开发里用语音说出几个修饰词就能即时生成真正独一无二的装备、道具、服装、建筑随意根据自己的想象去设计 场景、NPC 和 敌人。就连对白也可以用 GPT 生成的。
在生产力工具方面图像、视频、动画、3D 编辑创作工具中应该也会很快看见更多同 AI 图像生成模型的结合比如辅助构建概念草图、修补图像创建贴图或关键帧。
对于 2022 年的人工智能领域图像生成模型 text-to-image generator 无疑已成为最大的主角。从 3 月 Disco Diffusion 的火爆出圈4 月 DALL·E 2 和 Midjourney 开始邀请制内测5 月和 6 月 Google 发布了两大 TTI 模型 Imagen 和 Parti仅论文无内测。7 月底Stable Diffusion 的内测和开源又占尽了风头。TTI 这个领域的变化之快是以天而计的。
2022 年还剩 1/3不知道还有多少惊喜等待着我们。
当然所有新技术都是双刃的会赋予一部分人新的力量也会打翻一部分人盘子里的蛋糕。下一篇我会写写 AI 图像生成当下面临的最大争议”AI 艺术家” 们是不是在窃取其它艺术家的劳动成果 附录一些有用的资源
Stable Diffusion prompt 搜索引擎 —— 抓取了大量 SD 的 prompt 对应的生成结果。对于不知道该怎么写 prompt 的新手是很好的参考。 https://lexica.art/
用 Stable Diffusion 生成的艺术家风格参考库 https://proximacentaurib.notion.site/e2537cbf42c34b7e9a9a4126f81dfd0d?v7b4a3c03fb654045be324eb71acc57e6
CLIP Ranked Artists —— ProgRockDiffusion 的开发者 Jason Hough LowFuel 的项目列出了各艺术家在 CLIP 各模型里的的感应度评分以及相似艺术家。 https://f000.backblazeb2.com/file/clip-artists/index.html#by_jim_burns
Prompt 构建器 —— 写 prompt 词汇量不够想不出来更具体地描述一个对象这个应用把多个维度的修饰词做成了一个个带 demo 效果图的可点按钮只需点点点就能自如组合出一个花样繁多的 prompt 了非常直观。 这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》相信大家会对AIGC有着更深入、更系统的理解。 有需要的朋友可以点击下方免费领取 AIGC所有方向的学习路线思维导图
这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去那么我的使命也就完成了
AIGC工具库
AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合通过使用AIGC工具库能更加快速准确的辅助我们学习AIGC 有需要的朋友可以点击下方卡片免费领取 精品AIGC学习书籍手册
书籍阅读永不过时阅读AIGC经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验结合自身案例融会贯通。 AI绘画视频合集
我们在学习的时候往往书籍源码难以理解阅读困难这时候视频教程教程是就很适合了生动形象加上案例实战科学有趣才能更方便的学习下去。
