(1)3DMM统计模型,形状和纹理PCA基,用来作为统计先验计算非线性的最小二乘优化来图像重建
(2)3DMM作为生成模型,利用CNN学习非线性映射(回归)
(3)本文,非线性联合学习形状和纹理(解码器不仅仅得到3d形状),网格卷积GCN,轻量级模型,2500fps cpu效率,无监督/自监督
网格卷积的优点:网络参数量少,模型大小17MB,估计3d形状300fps,Geometric Deep Learning
CoMA可以比PCA更好地表达表情,而且仅用8维度隐向量
Related WORK
self-supervised techniques:
- Self-supervised multi-level face model learning for monocular reconstruction at over 250 hz. In CVPR, 2018.
使用3DMM模型,和额外的网络结构学习3DMM空间之外的信息 Nonlinear 3d face morphable model. In CVPR , 2018. 学习非线性空间,全连接层,uv空间, 解码形状和纹理

该博客介绍了3DMM统计模型在3D人脸重建中的应用,探讨了如何利用CNN进行非线性映射学习。文章重点提出了一种新的轻量级模型,通过网格卷积GCN实现2500FPS的CPU效率,进行无监督/自监督的3D形状和纹理联合学习。研究还对比了CoMA模型和PCA在表情表达上的优势,并引用了相关工作,如自我监督技术在超过250Hz频率下的单目重建。此外,讨论了数据集和网络架构,包括Image Encoder、Coloured Mesh Encoder和Decoder。
最低0.47元/天 解锁文章
2785

被折叠的 条评论
为什么被折叠?



