Stable Video Diffusion SVD 8GB 出图

最新推荐文章于 2025-01-20 07:00:00 发布
最新推荐文章于 2025-01-20 07:00:00 发布
阅读量752 收藏 7
点赞数 12
文章标签： AIGC stable diffusion AI作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44184411/article/details/135296514
版权
在利用Comfyui的txt2vid工具生成AI短视频时，遇到内存瓶颈。通过引入半精度SVD模型（如svd-fp16.safetensorsSD2.1版本），以及XL型和decoder，用户可以替换原有模型来降低8GB内存要求，无需详细说明过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在做Comfyui的txt2vid, 生成AI短视频，发现8GB要跑起来真的很难，好在有人提供了半精度模型

地址是：半精度SVD模型

svd-fp16.safetensors 是SD2.1模型，其它还XL型及decoder, 下载后替换原来的模型就可以，不细述。

germandai
关注
stable video diffusion(SVD):scaling latent video diffusion models to large datasets
liguandong
12-11 713
同样基于base模型，可以微调图生视频模型。使用network preconditioning将图像模型中的固定离散噪声调度微调为连续噪声，对大小为256x384的图像进行微调，在插入temporal layer后，使用256x384的LVD-F对模型进行训练，使用bs为768在100k迭代中微调模型以生成14个320x576的帧。有了基础数据集后，需要关注美学指标，比如视频中静止太多，文本太多，因此使用基于深度光流对视频进行评估，使用了2帧的帧率，把平均光流幅度低于一定阈值的视频都过滤掉了。
使用SVD(Stable Video Diffusion)执行视频插帧任务
沉迷单车的追风少年
10-02 1700
使用生成式模型完成视频插帧任务相比于传统的方法有很大的优势，可以完成大运动幅度和更好的流畅性插帧任务。这篇博客介绍如何用目前最流行的视频生成开源模型SVD完成视频插帧任务。
Stable Video Diffusion（SVD）安装和测试
计算机视觉领域
11-24 1万+
Stable Video Diffusion（SVD）安装和测试
低显存的福音！8G显存玩转InstantID（附整合包）
Alex919的博客
03-14 3175
InstantID的主模型，从https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?完成安装，就可以执行run_nvidia_gpu.bat进行玩耍了，整合包里已经包含了一些示例工作流，点击加载按钮，选择插件安装目录下的examples/InstantID_basic.json，然后按照下图的参数，选择一张照片，就能生成一张漫画风格的自拍啦~论文地址：https://arxiv.org/abs/2401.07519。
Stable Video Diffusion（SVD）搭建部署
培根芝士的专栏
01-14 1620
Stable Video Diffusion（SVD）是Stability AI于2023年11月21日发布的视频生成式大模型，是一种用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。该模型不仅支持文本、图像生成视频，还支持多视角渲染和帧插入提升视频帧率，用户可以调整模型选择、视频尺寸、帧率及镜头移动距离等参数。
ubuntu 系统部署 Stable Video Diffusion
maowenbei的博客
12-05 2708
Ubuntu系统本地部署和使用 Stable Video Diffusion（SVD）
【AI绘画】ComfyUI 完全入门：图生视频
A2421417624的博客
09-19 3917
大家好，我是每天分享AI应用的彤姐！ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
《Stable Video Diffusion》：SVD，2023年开源视频生成模型中的佼佼者！
最新发布
my_name_is_learn的博客
01-20 1316
在这篇文章中，我将面向之前已经熟悉StableDiffusion(SD)的读者，简要解读SVD的论文。
Stable Video Diffusion~2
whaosoft143ai的博客
04-30 410
论文会分享诸多的实验成果，包括验证精心构建的数据集对生成高质量视频的必要性、探究视频预训练与微调这两步的重要性、展示基础模型如何为图生视频等下游任务提供强大的运动表示、演示模型如何提供多视角三维先验并可以作为微调多视角扩散模型的基础模型在一轮神经网络推理中同时生成多视角的图片。绝大多数工作在训练一个基于扩散模型的视频生成模型时，都是在预训练的 SD 上加入时序模块，如 3D 卷积，并通过微调把一个图像生成模型转换成视频生成模型。这样的好处是，在我们在生成视频时，可以用该约束来指定视频的播放速度。whao
51-41 Stable Video Diffusion，高质量视频生成新时代
AIgraphX
04-17 1371
SVD是一种潜在扩散模型，支持文本生成视频、图像生成视频以及物体多视角3D合成。从工程角度来看，本文主要提出了一种高质量、大型视频数据集的制作流程，并提出成功训练视频潜在扩散模型Video LDM的三阶段方法：文本到图像预训练、视频预训练和高质量视频微调。
text2video:该软件工具可将文本转换为视频，以提供更吸引人的学习体验
05-04
Text2Video 描述 Text2Video是一种软件工具，可将文本转换为视频，以提供更吸引人的学习体验。 我开始这个项目是因为在这个学期中，我被分配了许多阅读作业，并且在阅读长篇文章时感到沮丧。 对我来说，通过阅读学习一些东西非常耗时和精力。 因此我想，“如果有一种工具可以将文本转换成更具吸引力的内容（例如视频），那会不会改善我的学习体验？” 我进行了一些研究，发现许多文章和研究支持视频对许多人来说比文本更有效地学习，其中包括以下数据： 人脑处理视觉内容的速度比文字处理速度快60,000倍。 观看者保留了95％的视频消息，而阅读文本时保留了10％的消息。 65％的人认为自己是视觉学习者。 我创建了一个原型Web应用程序，该应用程序将文本作为输入并生成视频作为输出。 这是上的 。 我计划针对18至23岁的年轻大学生进一步开展该项目，因为根据我发现的调查，他们倾向于通过视
txt2vid:文字转视频荣誉项目，包含TGAN，TGANv2和“创建您所讲的内容”的实现
03-29
txt2video 生成视频，其条件是使用GAN编写文本。 荣誉论文。 此实现包含以下书面实现： 创造你所讲的 GAN TGANv2 修改后两个以文本为条件。 文本使用Bi-LSTM编码，该Bi-LSTM已经过预训练以生成下一个标记-从内存上来说，该方法与“创建您要说的内容”相同。 另外，为了更有效地捕获鉴别器中的运动，还利用了非局部块（自我注意）。 引入了类似于StackGAN ++的条件信息。 。 对于鉴别器，我们比较两对： $ {（x_r，c_r），（x_f，c_r）} $ $ {（x_r，c_f），（x_f，c_r）} $ 对于生成器，我们仅比较上面的第一对。 x_r是真实视频 x_f是假视频 c_r字幕与视频正确关联 c_f的字幕与视频不相关 标准GAN损耗是首选的，因为1个判别步骤与1个生成器步骤。 另外，我通过以下方法对非相关性损失进行了实验： $（
在Ubuntu上部署Stable Video Diffusion动画制作
BBM的博客
02-09 3114
Stable Diffusion团队推出的开源模型Stable Video Diffusion，支持生成约3秒的视频，分辨率为576×1024。通过测试视频展示了其令人瞩目的性能，SVD模型是一个生成图像到视频的扩散模型，通过对静止图像的条件化生成短视频。其特点主要包括：
大模型中 .safetensors 文件、.ckpt文件和.pth以及.bin文件区别、加载和保存以及转换方式
热门推荐
CHNIM的博客
03-06 5万+
在大型深度学习模型的上下文中，.bin和.pthckpt文件这是由 Hugging Face 推出的一种新型安全模型存储格式，特别关注模型安全性、隐私保护和快速加载。它仅包含模型的权重参数，而不包括执行代码，这样可以减少模型文件大小，提高加载速度。加载方式：使用 Hugging Face 提供的相关API来加载文件，例如函数。ckpt文件。
多模态——使用stable-video-diffusion将图片生成视频
weixin_44826203的博客
11-24 9872
近期，stabilityAI发布了一个新的项目，是将图片作为基础，生成一个相关的小视频，本文主要是体验一下stable-video-diffusion的使用，以及对其使用方法进行简单的介绍。
论文阅读：Text2Video: Text-driven Talking-head Video Synthesis with PhoneticDictionary
landing_guy_的博客
05-18 1612
Text2Video的论文阅读
免费使用支持离线部署使用的 txt2video 文本生成视频大模型(Text-to-Video-Synthesis Model)
代码讲故事
01-31 2045
免费使用支持离线部署使用的 txt2video 文本生成视频大模型(Text-to-Video-Synthesis Model)。 文本生成视频大模型(Text-to-Video-Synthesis Model)是一种基于深度学习技术的人工智能模型，它可以将自然语言文本描述转换为相应的视频。即通过输入文本描述，自动生成符合描述内容的视频。
Text2Video 项目使用教程
gitblog_00350的博客
08-12 440
Text2Video 项目使用教程 text2video半个神器????一键文本转视频的工具项目地址:https://gitcode.com/gh_mirrors/te/text2video 1. 项目的目录结构及介绍 text2video/ ├── README.md ├── requirements.txt ├── setup.py ├── src/ │ ├── __init__.py │ ...
开源项目text2video常见问题解决方案
gitblog_00878的博客
12-31 446
开源项目text2video常见问题解决方案 text2video 半个神器????一键文本转视频的工具 项目地址: https://gitcode.com/gh_mirrors/te/text2video ...
Stable Video Diffusion (SVD
01-17
### Stable Video Diffusion (SVD)介绍 Stable Video Diffusion (SVD)，由 Stability AI 推出，旨在构建一个高质量的视频生成通用模型。此模型通过大规模数据集训练，在多种下游任务中微调后均展现出优异的效果[^1]...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值