Fast-SNARF：快速变形器，赋能关节神经场-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00126/article/details/142807381

Fast-SNARF：快速变形器，赋能关节神经场

fast-snarf 项目地址: https://gitcode.com/gh_mirrors/fa/fast-snarf

Fast-SNARF Teaser Fast-SNARF GIF

项目介绍

Fast-SNARF 是一个专为关节神经场设计的快速变形器，能够在准确且高效的方式下，从变形观测数据（如3D姿态网格）中学习关节物体。相较于其前身 SNARF，Fast-SNARF 在保持相似精度的同时，速度提升了150倍。

在这个项目中，我们应用 Fast-SNARF 从3D数据中学习可动画化的虚拟化身。未来，更多应用场景（如从图像中学习）也将陆续公布。

项目技术分析

Fast-SNARF 的核心在于其高效的关节神经场建模能力。通过优化算法和神经网络结构的改进，Fast-SNARF 实现了在保证高精度的同时，大幅提升计算速度。其技术亮点包括：

高效算法：采用先进的优化算法，显著减少计算时间。
神经网络优化：针对关节神经场的特性，优化神经网络结构，提升学习效率。
数据处理：高效的数据预处理和采样策略，确保输入数据的准确性和一致性。

项目及技术应用场景

Fast-SNARF 适用于多种应用场景，尤其在以下领域表现出色：

虚拟化身动画：从3D数据中学习并生成可动画化的虚拟化身，适用于游戏、影视等领域。
人体姿态模拟：通过学习人体姿态数据，生成逼真的动态模拟效果。
服装模拟：结合服装数据，实现高精度的服装动态效果模拟。
未来扩展：未来有望扩展至从单目视频快速学习虚拟化身等更多应用。

项目特点

高速高效：相较于同类技术，速度提升150倍，极大提高工作效率。
高精度：在保持高速的同时，依然能保证较高的学习精度。
易用性：提供详细的安装和使用指南，用户可快速上手。
开源开放：项目完全开源，用户可自由使用和修改代码，适合研究和商业应用。

快速上手

克隆项目

git clone https://github.com/xuchen-ethz/fast-snarf.git
cd snarf

安装环境

conda env create -f environment.yml
conda activate fast_snarf
python setup.py install

下载 SMPL 模型

下载 SMPL 模型 (1.0.0 for Python 2.7 (10 shape PCs)) 并移动到相应位置：

mkdir lib/smpl/smpl_model/
mv /path/to/smpl/models/basicModel_f_lbs_10_207_0_v1.0.0.pkl lib/smpl/smpl_model/SMPL_FEMALE.pkl
mv /path/to/smpl/models/basicmodel_m_lbs_10_207_0_v1.0.0.pkl lib/smpl/smpl_model/SMPL_MALE.pkl

下载预训练模型和测试动作序列

sh ./download_data.sh

运行快速演示

python demo.py expname=cape subject=3375 demo.motion_path=data/aist_demo/seqs +experiments=cape

生成的视频将保存在 outputs/cape/3375/demo.mp4，图像保存在 outputs/cape/3375/images/。若需保存网格，可在命令中添加 demo.save_mesh=true。

训练与评估

详细的训练和评估步骤请参考项目 README 文件，支持最小着装人体和着装人体的训练与动画生成。

引用

如果您在研究或项目中使用了 Fast-SNARF，请引用以下文献：

@article{chen2022fastsnarf,
  title={Fast-SNARF: A Fast Deformer for Articulated Neural Fields},
  author={Chen, Xu and Jiang, Tianjian and Song, Jie and Rietmann, Max and Geiger, Andreas and Black, Michael J and Hilliges Otmar},
  journal={arXiv},
  year={2022}
}

@inproceedings{chen2021snarf,
  title={SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes},
  author={Chen, Xu and Zheng, Yufeng and Black, Michael J and Hilliges, Otmar and Geiger, Andreas},
  booktitle={International Conference on Computer Vision (ICCV)},
  year={2021}
}