网站制作项目分析怎么做 方法,西安免费自助建站模板,万网企业邮箱,注册资金500万的公司需要多少钱今天给大家介绍一个最新的长篇故事可视化方法Story-Adapter#xff0c;它的工作原理可以想象成一个画家在创作一幅长画卷。首先#xff0c;画家根据故事的文本提示画出初步的图像。这些图像就像是画卷的草图。接下来#xff0c;画家会不断回顾这些草图#xff0c;逐步添加细…今天给大家介绍一个最新的长篇故事可视化方法Story-Adapter它的工作原理可以想象成一个画家在创作一幅长画卷。首先画家根据故事的文本提示画出初步的图像。这些图像就像是画卷的草图。接下来画家会不断回顾这些草图逐步添加细节和修正错误。在每一次修改中画家不仅参考之前的草图还会结合文本提示来确保每个细节都符合故事的内容。这种方法让画家的创作更加连贯避免了由于错误累积而导致的画面不一致。通过这种迭代的方式Story-Adapter能够生成更高质量、更具细腻交互的故事图像确保每一帧都能准确地传达故事情节。 相关链接
论文地址http://arxiv.org/abs/2410.06244v1
项目主页https://jwmao1.github.io/storyadapter
代码地址https://jwmao1.github.io/storyadapter
论文阅读
摘要
故事可视化是一项基于叙述生成连贯图像的任务随着文本到图像模型尤其是扩散模型的出现该任务取得了重大进展。然而保持语义一致性、生成高质量的细粒度交互以及确保计算可行性仍然具有挑战性尤其是在长篇故事可视化即最多 100 帧中。
本文工作提出了一个无需训练且计算效率高的框架称为 Story-Adapter以增强长篇故事的生成能力。具体来说提出了一个迭代范式来细化每个生成的图像利用文本提示和上一次迭代生成的所有图像。我们框架的核心是一个无需训练的全局参考交叉注意模块它聚合了上一次迭代生成的所有图像以保持整个故事的语义一致性同时通过全局嵌入最大限度地降低计算成本。这个迭代过程通过反复合并文本约束逐步优化图像生成从而产生更精确和更细粒度的交互。大量实验验证了 Story-Adapter 在提高语义一致性和细粒度交互生成能力方面的优势尤其是在长篇故事场景中。
方法 Story-Adapter 框架。 所提出的迭代范式的说明包括初始化、Story-Adapter 中的迭代和全局参考交叉注意 (GRCA) 的实现。Story-Adapter 首先仅根据故事的文本提示对每幅图像进行可视化并将所有结果用作下一轮的参考图像。在迭代范式中Story-Adapter 将 GRCA 插入 SD。对于每次图像可视化的第 i 次迭代GRCA 将通过交叉注意在去噪过程中聚合所有参考图像的信息流。本次迭代的所有结果将用作参考图像以指导下一次迭代中故事可视化的动态更新。
与常规长度的故事相比长篇故事包含更多角色和更复杂的交互因此对语义一致性和细粒度交互生成的要求更高。为了解决上述挑战文中采用了一种迭代范式该范式在多轮中逐步完善所有生成的图像包括语义一致性和视觉细节。我们通过为固定的稳定扩散 (SD) 模型配备交叉注意机制称为 Story-Adapter来实例化迭代范式。
实验
不同方法的定性比较 故事可视化的定性比较表明AR-LDM 和 StoryGen 可生成连贯的图像序列但由于自回归误差其质量会随着故事长度而下降。StoryDiffusion 和 Story-Adapter 表现良好尽管 StoryDiffusion 由于计算要求高而难以解决主题一致性和 ID 图像缺陷问题。Story-Adapter 更能满足有效故事可视化的要求。 长篇故事可视化的定性比较。 橙色和蓝色框中的图像序列分别由 StoryDiffusion 和 Story-Adapter 生成。Story-Adapter 在生成语义一致性和角色交互方面表现出优势。 迭代范式的消融研究迭代范式的效果和不同固定λ的影响。 初始化和 GRCA 的定性消融研究。 Story-Adapter 对不同迭代的故事进行可视化准确的交互用绿色表示错误或缺失的交互用红色表示。 StoryDiffusion 对“钢琴家”故事的可视化结果。
结论
本文介绍的Story-Adapter是一个迭代框架它调整了预先训练的稳定扩散模型以进行长篇故事可视化。通过使用以前迭代生成的图像作为参考该方法保持了语义一致性并提高了整个故事中细粒度交互的生成质量有效地减少了错误积累并避免了缺陷的传播。
为了提高效率文中提出了一个即插即用的全局参考交叉注意 (GRCA) 模块它利用全局图像嵌入来降低计算成本同时保留必要的图像信息流。大量实验表明Story-Adapter 在常规长度的故事可视化数据集上的表现优于现有方法并在长篇故事可视化中表现出色。这些发现凸显了我们的迭代范式在提高文本到图像故事可视化的质量和连贯性方面的潜力。
