【论文复现】摩尔线程版AnimateAnyone

原创

已于 2024-03-21 20:42:39 修改 · 2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #深度学习

于 2024-03-08 21:24:33 首次发布

本文详细描述了在使用Moore-AnimateAnyone项目时遇到的各种问题，包括权重下载、数据预处理、模型训练（如关键点提取、多GPU配置、分布式训练等）及其解决方案。重点讨论了GPU内存溢出、模块未找到错误、配置错误和模型在不同设备间的张量问题等。

code：MooreThreads/Moore-AnimateAnyone (github.com)

paper：Animate Anyone (humanaigc.github.io)

1. Inference

Inference没啥难度，按照readme来就行，就是分开下载权重比较慢，注意权重文件严格按照文档目录树来放。

python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 784 -L 64

默认的参数我cuda.OutOfMemoryError了（服务器12G显存），调小为-W 256 -H 392 -L 32就可以了，但是测试出来的demo效果非常差，和moore自己展示的没法比

视频放不上来，不展示了

2. Training

Data Preparation

用HDTF数据集试一下

Extract keypoints from raw videos:

python tools/extract_dwpose_from_vid.py --video_root /path/to/your/video_dir

问题1：ModuleNotFoundError: No module named 'src'

解决：参考这篇python 服务器运行代码报错ModuleNotFoundError的解决办法_modulenotfounderror: no module named 'py01_robor_a-优快云博客

在报错的文件顶端添加：

import sys
import os
sys.path.append(os.path.dirname(sys.path[0]))

问题2：按照文件里的提示


# Extract dwpose mp4 videos from raw videos
# /path/to/video_dataset/*/*.mp4 -> /path/to/video_dataset_dwpose/*/*.mp4

(maa)root@:/data/Moore-AnimateAnyone# python tools/extract_dwpose_from_vid.py --video_root /data/Moore-AnimateAnyone/video/*.mp4

  return register_model(fn_wrapper)
usage: extract_dwpose_from_vid.py [-h] [--video_root VIDEO_ROOT] [--save_dir SAVE_DIR] [-j J]
extract_dwpose_from_vid.py: error: unrecognized arguments: /data/Moore-AnimateAnyone/v/video/RD_Radio11_000.mp4 /data/Moore-AnimateAnyone/v/video/RD_Radio11_001.mp4 /data/Moore-AnimateAnyone/v/video/RD_Radio12_000.mp4

解决：不要写通配符，展开成实际的文件夹路径即可，python tools/extract_dwpose_from_vid.py --video_root /data/Moore-AnimateAnyone/video