【SVD生成视频+可本地部署】ComfyUI使用（二）——使用Stable Video Diffusion生成视频 （2023.11开源）

已于 2024-01-26 09:30:38 修改
阅读量6k 收藏 43
点赞数 15
分类专栏： ComfyUI AIGC 生成式人工智能 文章标签： SVD stable video 视频生成 diffusion AIGC ComfyUI AI绘画
于 2024-01-25 19:34:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/imwaters/article/details/135840835
版权

SVD官方主页 ： Huggingface | | Stability.ai || 论文地址
huggingface在线运行demo : https://huggingface.co/spaces/multimodalart/stable-video-diffusion
SVD开源代码：Github（含其他项目） || Huggingface
在Comfyui使用： ComfyUI国内下载 | SVD模型下载 | | 官网下载(Github)

在这里插入图片描述

文章目录

最低0.47元/天 解锁文章
使用SVD(Stable Video Diffusion)执行视频插帧任务
沉迷单车的追风少年
10-02 1683
使用生成式模型完成视频插帧任务相比于传统的方法有很大的优势，可以完成大运动幅度和更好的流畅性插帧任务。这篇博客介绍如何用目前最流行的视频生成开源模型SVD完成视频插帧任务。
stable video diffusion(SVD):scaling latent video diffusion models to large datasets
liguandong
12-11 701
同样基于base模型，可以微调图生视频模型。使用network preconditioning将图像模型中的固定离散噪声调度微调为连续噪声，对大小为256x384的图像进行微调，在插入temporal layer后，使用256x384的LVD-F对模型进行训练，使用bs为768在100k迭代中微调模型以生成14个320x576的帧。有了基础数据集后，需要关注美学指标，比如视频中静止太多，文本太多，因此使用基于深度光流对视频进行评估，使用了2帧的帧率，把平均光流幅度低于一定阈值的视频都过滤掉了。
没想到我还要求着AI动起来（Stable Diffusion进阶篇：ComfyUI SVD图片转视频）
2401_84760527的博客
07-17 2119
在上一篇文章中讲到了如何下载安装ComfyUI，目的就是为了今天的图片转视频，毕竟上次的Gen2让我的钱包不是很满意。当然如果完全没接触过ComfyUI或者WebUI看这期视频跟着操作也是可以的，前提是得先下载安装好本文涉及的工作流和插件，需要的朋友请扫描免费获取哦如果是已经接触过WebUI的小伙伴们来说这篇文章还是很好上手的。
【ComfyUI进阶1】5分钟制作丝滑的AI视频-+AnimateDiff
weixin_66363548的博客
10-25 8631
用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑。
阿里又放大招！ComfyUI 原生支持 Wan2.1 FLF2V & Fun，全流程高清视频生成太丝滑！
最新发布
m0_71745754的博客
04-21 1037
过去说到视频生成，往往意味着高成本、大模型、强依赖云服务。但现在，随着 ComfyUI 对阿里 Wan2.1 模型的原生集成，
Stable Diffusion 本地部署教程
热门推荐
ellija的博客
03-25 192万+
最近看Stable Diffusion开源了，据说比Disco Diffusion更快，于是从git上拉取了项目尝试本地部署了，记录分享一下过程~这里是官网介绍：https://stability.ai/blog/stable-diffusion-public-release。
在ComfyUI上安装动画生成插件Stable Video Diffusion
BBM的博客
02-10 1849
上一章节我们介绍了Stable video diffusion的安装及初步使用，我们发现SVD的运行需要较大的显存，但是如果将SVD作为插件安装在ComfyUI上面，发现ComfyUI可以很好的管理显存，同时配合ComfyUI的动画制功能，可以让应用更加丰富。
【SVD生成视频+可本地部署】ComfyUI使用指南（二）——使用Stable Video Diffusion生成视频...
gitblog_06506的博客
09-20 458
【SVD生成视频+可本地部署】ComfyUI使用指南（二）——使用Stable Video Diffusion生成视频 SVD生成视频可本地部署ComfyUI使用二使用StableVideoDiffusion生成视频2023.11开源 ...
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
sheex2012的博客
04-26 5万+
本文以Stable Diffusion为例，由难及易演示了手动、自动和整合包三种部署方式，并分析了这三种方式在虚拟环境创建、程序部署、数据下载部署等复杂动作的具体过程，为一键式自动部署提供了良好的借鉴，进一步促进AIGC的普惠应用。
《Stable Video Diffusion》：SVD，2023年开源视频生成模型中的佼佼者！
my_name_is_learn的博客
01-20 1281
在这篇文章中，我将面向之前已经熟悉StableDiffusion(SD)的读者，简要解读SVD的论文。
【论文+视频控制】23.08.DragNUWA1.5：通过集成文本、图像和轨迹来进行视频生成中的细粒度控制 （24.01.08在stable video diffusion开源模型）
进一寸有一寸的欢喜
01-23 1340
中国科学技术大学+微软亚洲研究院 在 NUWA多模态模型、 Stable Video Diffusion 、UniMatch基础上提出的可控视频合成方法。提出了同时（simultaneously ）引入文本、图像和轨迹信息，从**语义（semantic）、空间（spatial）和时间角度（temporal perspectives）**
探索未来影像：ComfyUI中的Stable Video Diffusion项目解析与应用
gitblog_00084的博客
06-08 555
探索未来影像：ComfyUI中的Stable Video Diffusion项目解析与应用 去发现同类优质开源项目:https://gitcode.com/ 在数字创意的广阔领域中，视频生成技术正以前所未有的速度发展。今天，我们为您介绍一款开启创新大门的开源工具——ComfyUI Stable Video Diffusion。这是一款专为ComfyUI设计的插件，使得稳定视频扩散（Stable V...
Stable Video Diffusion~2
whaosoft143ai的博客
04-30 406
论文会分享诸多的实验成果，包括验证精心构建的数据集对生成高质量视频的必要性、探究视频预训练与微调这两步的重要性、展示基础模型如何为图生视频等下游任务提供强大的运动表示、演示模型如何提供多视角三维先验并可以作为微调多视角扩散模型的基础模型在一轮神经网络推理中同时生成多视角的图片。绝大多数工作在训练一个基于扩散模型的视频生成模型时，都是在预训练的 SD 上加入时序模块，如 3D 卷积，并通过微调把一个图像生成模型转换成视频生成模型。这样的好处是，在我们在生成视频时，可以用该约束来指定视频的播放速度。whao
云服务器ComfyUI+SVD制作AI视频教程，附效果演示
Eqiqi的博客
12-02 1054
ComfyUI是通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。但节点式的工作流也提高了一部分使用门槛。最后，我想说的是工具的使用是提效的手段，不论用什么工具，最后生成的效果满意就行。就像做视频，手机、单反、运动相机都能拍，能不能拍出精彩的视频还是需要创作者的内功哦~为了帮助大家更好地掌握ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了。
Stable Video Diffusion（SVD）搭建部署
培根芝士的专栏
01-14 1565
Stable Video Diffusion（SVD）是Stability AI于2023年11月21日发布的视频生成式大模型，是一种用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。该模型不仅支持文本、图像生成视频，还支持多视角渲染和帧插入提升视频帧率，用户可以调整模型选择、视频尺寸、帧率及镜头移动距离等参数。
ComfyUI本地部署
码海逆行
04-07 1746
简单易学的ComfyUI 安装及简单操作
【AI绘画】ComfyUI 完全入门：图生视频
A2421417624的博客
09-19 3834
大家好，我是每天分享AI应用的彤姐！ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
AI绘图体验：Stable Diffusion本地化部署详细步骤
03-30 3772
本文详细介绍了近期火爆的AI绘图平台Stabl Diffusion 本地部署步骤，包括环境，部署步骤，常见模型下载方法。能够帮助人们顺利完成AI绘图的本地部署和体验。是不可多得的教程
2024年最新Stable Diffusion本地化部署详细攻略，手把手教程（建议收藏!!)_stable diffusion 本地部署
2401_84760527的博客
06-07 2110
如果你还有其它配置需求，特别是你的电脑配置比较低的话，可以勾选其中的参数进行配置1）、显存优化显存优化根据显卡实际显存选择，不要超过当前显卡显存。不过并不是指定了显存优化量就一定不会超显存，在出图时如果启动了过多的优化项（如高清修复、人脸修复）时，依然有爆显存的几率。xFormers 能极大地改善了内存消耗和速度，建议开启。2）、WebUI深色模式还有这里的WebUI界面设置，可以将界面设置为深色模式3）、版本管理。
stable video diffusion 视频插帧
03-12
### Stable Video Diffusion Model for Frame Interpolation Stable Video Diffusion (SVD) models represent a significant advancement in the field of video processing and generation by leveraging latent diffusion techniques scaled to handle large datasets effectively[^1]. These models are designed not only for generating high-quality videos but also for specific tasks such as frame interpolation. #### Principles Behind SVD Models The core principle behind these models lies within their ability to scale latent diffusion processes efficiently when dealing with extensive data collections. This scalability is crucial because it allows for more complex patterns and movements found in video content to be learned accurately without compromising on performance or quality[^2]. For **frame interpolation**, which involves predicting intermediate frames between two given keyframes, stable video diffusion models utilize advanced algorithms that can understand temporal dynamics better than traditional methods. By doing so, they ensure smoother transitions while maintaining visual consistency throughout the generated sequences. In terms of implementation details related specifically to this task: - The forward diffusion process adds noise gradually over time steps until an image becomes entirely random; conversely, during inference, the reverse denoising procedure reconstructs meaningful images from pure noise. - For effective frame prediction, especially concerning motion estimation across multiple frames, sophisticated architectures incorporating attention mechanisms may play vital roles alongside standard convolutional layers used widely today[^3]. Additionally, certain implementations might benefit from optimizations like using specialized libraries (`xformers`) available through Python package managers under specified versions compatible with target operating systems—such as Windows—for enhanced computational efficiency[^4]. ```python pip install xformers==0.0.16rc425 -i https://pypi.tuna.tsinghua.edu.cn/simple ``` This command installs `xformers`, potentially improving training speed and resource management depending upon system configuration and requirements.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值