云平台一键部署【Story-Adapter】极速生成高质量、极具细腻交互的长篇故事图像

Story-Adapter 框架。所提出的迭代范式的说明，包括初始化、Story-Adapter 中的迭代和全局参考交叉注意 (GRCA) 的实现。Story-Adapter 首先仅根据故事的文本提示对每幅图像进行可视化，并将所有结果用作下一轮的参考图像。在迭代范式中，Story-Adapter 将 GRCA 插入 SD。对于每次图像可视化的第 i 次迭代，GRCA 将通过交叉注意在去噪过程中聚合所有参考图像的信息流。本次迭代的所有结果将用作参考图像，以指导下一次迭代中故事可视化的动态更新。

这个项目最大的特点在于能生成长故事的连环画。

1.无训练的迭代框架：

• 迭代细化：Story-Adapter提出了一种迭代范式，通过利用文本提示和前一次迭代中生成的所有图像来细化每个生成的图像。

• 全局参考交叉注意力模块：核心是一个无训练的全局参考交叉注意力模块（GRCA），它聚合了前一次迭代中生成的所有图像，以在整个故事中保持语义一致性，同时通过全局嵌入最小化计算成本。

2.计算效率：

• 高效计算：Story-Adapter通过全局嵌入最小化计算成本，确保在长故事可视化（多达100帧）中保持高效的计算性能。

• 动态更新：每次迭代的结果将作为参考图像，用于引导下一次迭代中故事可视化的动态更新，进一步优化图像生成质量。

• github：GitHub - UCSC-VLAA/story-adapter: A Training-free Iterative Framework for Long Story Visualization

模型已经在趋动云『社区项目』上线，无需自己创建环境、下载模型，一键即可快速部署，快来体验Story-Adapter 带来的精彩体验吧！

• 项目入口:

https://open.virtaicloud.com/web/project/detail/534413308816711680

视频教程：

云平台一键部署【Story-Adapter】极速生成高质量、极具细腻交互的长篇故事图像

启动开发环境

进入Story-Adapter 项目主页中，点击运行一下，将项目一键克隆至工作空间，『社区项目』推荐适用的算力规格，可以直接立即运行，省去个人下载数据、模型和计算算力的大量准备时间。

配置完成，点击进入开发环境，根据主页项目介绍进行部署。

WebUI双操作：

在使用说明.ipynb中，选中选中2.1/2.2单元格，点击运行，等待生成local URL，右侧添加端口7860，浏览器访问外部访问链接

WebUI界面

效果展示

➫温馨提示： 完成项目后，记得及时关闭开发环境，以免继续产生费用！

智汇全球，趋动未来

『社区项目』汇聚全球智慧，是促进技术交流的宝贵平台，期待每一位AI爱好者体验一键部署功能的强大魅力。

同时，我们也热切盼望每一位码友加入，分享您的精品作品，共筑这个充满活力与创新的技术乐园。

趋动云

连接算力・连接人