Wan-Move生态版图:ComfyUI集成、Wan2GP低显存方案与可灵Motion Brush差距分析

  • 人工智能
  • 媒体生成
  • 深度学习
  • 计算机视觉
  • 大模型

【免费下载链接】Wan-Move

[NeurIPS 2025] Wan-Move: Motion-controllable Video Generation via Latent Trajectory Guidance

项目地址: https://gitcode.com/gh_mirrors/wa/Wan-Move
点击查看 免费下载

Wan-Move 是 NeurIPS 2025 论文开源的运动控制视频生成框架:它通过"潜空间轨迹引导",让图生视频模型精确控制画面中每个点的运动。本文帮你理清它的生态版图——ComfyUI 节点集成、Wan2GP 低显存方案,以及它和可灵 Motion Brush 的真实差距,新手也能快速选到最适合自己的用法。

Wan-Move 轨迹运动控制视频生成项目封面

🧭 先看懂 Wan-Move:用一条轨迹控制 5 秒视频

Wan-Move 是在 Wan2.1 代码库上的最小化扩展(迁移成本很低),核心思想很简洁:

  • 运动条件 = 轨迹:在首帧上画一组带方向的点轨迹(支持多个物体、多条轨迹);
  • 潜空间轨迹引导(Latent Trajectory Guidance):把首帧特征沿轨迹"复制扩展"到后续帧,作为条件注入 DiT,不改动原模型架构、不额外增加运动模块;
  • 输出:5 秒、480p(832×480)的图生视频,支持物体运动、相机运动、多物体联动、3D 旋转等细粒度控制。

Wan-Move 运动控制视频生成框架与训练流程

下面这张图展示了它支持的典型场景:多物体运动、复杂动作、物体+相机联动、基础控制、运动迁移、3D 旋转——全部由轨迹控制。

Wan-Move 轨迹运动控制的图生视频应用场景展示

🧩 生态版图一:ComfyUI 中的 WanMove 节点

如果你不想碰命令行,ComfyUI 是目前最友好的入口。社区开发者 Kijai 已将 Wan-Move 集成进 ComfyUI 封装(WanVideo_comfy_fp8_scaled 包的 WanMove 目录),主要优点:

优点说明
节点式工作流拖拽连线即可画轨迹、出视频,无需写命令
FP8 量化支持进一步压低显存占用,中端显卡更从容
无缝复用可接入你现有的 Wan2.1 ComfyUI 管线

💡 使用前提:模型权重(Wan-Move-14B-480P)仍需自行下载并放到封装要求的目录中。

🧩 生态版图二:Wan2GP 低显存视频生成方案

社区项目 Wan2GP(deepbeepmeep 开发)同样支持了 Wan-Move,主打低显存运行:通过模型分块 offload 等优化,把 14B 大模型装进消费级显卡。

和官方仓库的省显存手段对比一下:

方案显存门槛特点
官方仓库 --t5_cpu --offload_model True --dtype bf16单张 40GB 显卡官方验证,速度相对更快
Wan2GP更低(消费级显卡)以速度换显存,适合显存紧张的用户

🚀 官方仓库快速上手:画轨迹,一键出片

git clone https://gitcode.com/gh_mirrors/wa/Wan-Move
cd Wan-Move
pip install -r requirements.txt

依赖安装细节可参考 INSTALL.md,依赖清单在 requirements.txt。然后下载模型权重(HuggingFace 的 Ruihang/Wan-Move-14B-480P 或 ModelScope 的 churuihang/Wan-Move-14B-480P)到 ./Wan-Move-14B-480P。

方式 A:Gradio 交互界面(推荐新手)

python gradio_app.py --task wan-move-i2v --size 480*832 \
  --ckpt_dir ./Wan-Move-14B-480P --t5_cpu --offload_model True --dtype bf16

打开网页即可:上传图片 → 点击画面添加轨迹点 → 调节速度曲线 → 生成视频。支持多轨迹分色绘制、实时 GIF 预览和历史画廊,实现在 gradio_app.py。

方式 B:命令行生成

官方内置了一个开箱即用的示例(下图就是示例首帧,一台连接移动硬盘的笔记本):

python generate.py --task wan-move-i2v --size 480*832 \
  --ckpt_dir ./Wan-Move-14B-480P \
  --image examples/example.jpg \
  --track examples/example_tracks.npy \
  --track_visibility examples/example_visibility.npy \
  --prompt "A laptop is placed on a wooden table. ..." \
  --save_file example.mp4

Wan-Move 轨迹运动控制示例输入图片

小技巧:加 --vis_track 可在输出视频上叠加轨迹可视化;scripts/visualize.py 还支持自定义可视化(比如鼠标按键效果);轨迹绘制与数据格式见 wan/modules/trajectory.py,模型结构配置见 wan/configs/wan_move_14B.py。

⚖️ 与可灵 Motion Brush 差距分析:谁更强?

官方与学术方法、商业方案做了直接对比。左侧刨木场景四个方法基本都跟随轨迹,Wan-Move 的木屑细节最真实;右侧多物体 VR 场景中,Image Conductor 与 LeviTor 出现明显错位(红框标注),可灵 1.5 Pro 只驱动了单一轨迹,只有 Wan-Move 同时贴合多组点的运动:

Wan-Move 与 Image Conductor、LeviTor、可灵 1.5 Pro Motion Brush 的运动控制对比

差距与优势总结:

维度Wan-Move可灵 Motion Brush
控制粒度点级密集轨迹,多物体精确控制笔刷涂抹区域,更直觉但更粗粒度
运动准确度用户研究中达到与商业方案相当的水平商业打磨成熟
分辨率/时长5s / 480p更高分辨率、更长时长
开放程度权重开放(Apache 2.0)、可复现、可魔改闭源在线服务
使用成本40GB 单卡或多卡订阅费用

一句话结论:运动控制精度上 Wan-Move 已追平可灵 Motion Brush,差距主要在画质上限(480p/5s)与交互便捷性;而开放权重 + 社区生态是商业方案给不了的。

📊 MoveBench:量化评测运动控制的专用基准

官方还发布了 MoveBench:1018 段视频、每段 81 帧、40+ 内容类别,提供高质量轨迹标注(已补充首帧 mask 标注,可评测 mask 驱动的运动控制模型):

MoveBench 运动控制视频生成评测基准的构建流程与统计

相比 DAVIS、VIPSeg、MagicBench,只有 MoveBench 同时具备视频分类、mask 轨迹和点轨迹标注。想复现评测,下载数据集后运行:

python generate.py --task wan-move-i2v --size 480*832 \
  --ckpt_dir ./Wan-Move-14B-480P --mode single --language en \
  --save_path results/en --eval_bench

💡 多卡批量评测时记得设 --ulysses_size 1,并关闭 prompt 扩展以保证公平。

✅ 选型建议总结

你的情况推荐方案
已在用 ComfyUI,不想写代码Kijai 的 WanMove 节点封装
消费级显卡、显存紧张Wan2GP 低显存方案
想复现研究、跑 MoveBench 评测官方仓库 + 多卡推理
快速体验轨迹控制效果官方 Gradio demo

Wan-Move 的意义在于:它证明了不改架构、不加工具模块,仅靠轨迹引导就能把开源图生视频推到商业级运动控制水平。随着 ComfyUI 与 Wan2GP 生态成熟,这套运动控制视频生成方案正变得前所未有的易用。

  • 人工智能
  • 媒体生成
  • 深度学习
  • 计算机视觉
  • 大模型

【免费下载链接】Wan-Move

[NeurIPS 2025] Wan-Move: Motion-controllable Video Generation via Latent Trajectory Guidance

项目地址: https://gitcode.com/gh_mirrors/wa/Wan-Move
点击查看 免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值