项目主页:https://humanaigc.github.io/animate-anyone/
论文
: Animate Anyone: Consistent and Controllable Image-to-Video
Synthesis for Character Animation
摩尔线程复现代码
:https://github.com/MooreThreads/Moore-AnimateAnyone
摩尔windows一键运行包
:https://www.bilibili.com/video/BV1S5411i7Cn/
原作者讲解
(需要手机端看): https://mp.weixin.qq.com/s/bSV-dxA618LvN76tg4Z0kQ
其他教程视频: 用Comfy UI + Animate Anyone来一键制作抖音视频
demo:在通义前问app
上可以试用 (可生成12秒)
文章目录
简介
角色动画(Character Animation)是指在通过驱动信号从静止图像中生成角色视频。
图片到视频的难点
在于:保持角色详细信息的一致性
(consistency)
实测: 鸣人跳兔子舞
相关研究
-
DreamPose 专注于时尚图像到视频的合成,并提出了一个适应模块来融合图像中的CLIP和VAE特征。但是缺点是需要
微调模型
来保持生成图片的一致性。 -
DisCo : 探索人类的舞蹈生成,通过CLIP整合角色的特征(integrating character features),并通过ControlNet结合·背