End-to-end 3D face reconstruction with deep neural networks

最新推荐文章于 2024-01-31 10:51:52 发布

原创

最新推荐文章于 2024-01-31 10:51:52 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#3D #neural network #reconstruction

本文介绍了一种端到端的3D人脸重建方法，避免了复杂的3D渲染过程。通过多任务损失函数和融合DNN，将3D人脸重构分为身份和表情两个部分。网络接收经过人脸检测器处理的图像输入，输出身份和表情参数向量。使用真实和合成的2D数据训练网络，并通过与Richardson等人的工作类似的策略生成合成数据。训练过程中，采用3D脸模型和表达式参数来创建多样化的面部表情和姿势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Abstract

该文不采用利用rgb图和初始化3D面部表情渲染的方式, 是端对端的，可以避免复杂的3D渲染.我们从两个方面综合DNN，利用多任务损失函数和融合DNN来改善面部表情重构；利用多任务损失函数，可以将3D人脸重构分为3D人脸重构和3D人脸表情重构两个部分. 由于中性面部形状是类固定的，所以用网络的高层特征表示，而面部表情用低层或中层网络层特征表示。

Method

用一系列的形状和融合形状(blendshape)去表示人脸的3D形状.

\bar{S} + U_{d} * \alpha_{d} + U_{e} * \alpha_{e},

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_31751039

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

人体三维重建【文章汇总】Humans

zik的博客

07-03

2328

PA-MPJPE则是在计算误差之前，首先对预测的姿态进行了最佳比例的刚体变换（包括旋转、平移和缩放），这一过程通常通过Procrustes分析实现，目的是为了消除全局旋转和平移的影响，以及可能的比例差异，从而更加专注于评估姿态结构本身的准确性。PCK指标计算的是被正确检测出的关键点数量占总关键点数量的百分比，这里的“正确检测”指的是预测的关键点位置与真实位置之间的距离小于或等于一个给定的误差阈值（通常以关节或者像素为单位）。：对每个关节的位置序列进行一阶微分，得到各个关节的速度随时间的变化情况。

Deep3DFaceReconstruction:弱监督学习的精确3D人脸重建

05-07

弱监督学习的精确3D人脸重建：从单个图像到图像集这是以下论文的tensorflow实现：邓Y，杨J.徐S.徐D.陈Y贾和X.童，，IEEE计算机视觉和模式识别研讨会（ CVPRW），《关于面Kong和手势的分析和建模》（AMFG），2019年。（最佳论文奖！）该方法对基于CNN的3D人脸重建实施了混合级别的弱监督训练。姿势和咬合快速，准确且鲁棒。它可以在FaceWarehouse，MICC Florence和BU-3DFE等多个数据集上实现最先进的性能。培训代码现已发布！特征 ●准确的形状该方法以高精度重建脸部。在多个基准上的定量评估（以mm为单位的形状误差）显示了其最新的性能：方法 FaceWareHouse 佛罗伦斯 BU3DFE 2.19±0.54 -- -- 1.84±0.38 -- -- -- 1.77±0.53 --

参与评论您还未登录，请先登录后发表或查看评论

[CVPR2017]End-to-end 3D face reconstruction with deep neural networks

wrk226的博客

01-25

341

提出了 End-to-End 3D FAce Reconstruction (UH-E2FAR)模型，利用DNN来从单张2D图像中拟合出3DMM的形状参数本文将人脸形状分为两个子任务：身份和表情，然后通过优化两个loss联合训练。为了表示目标人脸S，先假设我们有平均脸S_bar，然后对所有人的中性脸做pca，就可以得到身份的主成分特征。之后再通过每个人不同扫描之间的偏移量做PCA得到表情的主成分特征。将这两个加到S_bar上就可以表示S了 BFM：53490个顶点，160470个三角形面，有利于表达面部

3D-LaneNet: End-to-End 3D Multiple Lane Detection

04-10

2455

一.概述时间：2018.11 作者：Noa Garnett 机构：General Motors Israel（通用汽车）内容：基于前视图能够预测road coord 的3D lane，输出的是车道线3维曲线，即道路平面也考虑了。且不约束车道宽度或者已建图的环境。 3D lanenet：intra-network IPM + anchor-based lane representation。数...

End-to-end Face Detection and Cast Grouping in Movies Using Erdos-Renyi Clustering

我咋学不会的博客

12-05

351

三个创新点将人脸检测和跟踪结合起来得到高质量的人脸轨迹提出一种基于Erdos-Renyi图理论的聚类算法（It is based on the observations that large clusters can be fully connected by joining just a small fraction of their point pairs, while just a s...

DeepID3:Face Recognition with Very Deep Neural Networks

凌风探梅的专栏

10-09

3370

DeepID3:Face Recognition with Very Deep Neural Networks

3D人脸重建开源项目整理

qq_35045096的博客

07-19

8055

一、单一视图三维人脸重建 1.End-to-end 3D face reconstruction with deep neural networks https://github.com/yuefurong97/mxnet-E2FAR 2. Learning Detailed Face Reconstruction from a Single Image https://github.com/yu...

【FAS Survey】《Deep learning for face anti-spoofing: A Survey》

热门推荐

二分掌柜的

12-10

1万+

AI模型让一张人脸照片变成三维的真人脸 flyfish 曾经是需要这样的，头上戴设备的，现在用AI可以省点麻烦。实例1 论文Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set TensorFlow版本源码 PyTorch版本源码推荐点击这里下载源码和模型，原网址不带模型的，本文已经提供好了源码和模型的下载地址，这里是PyTorch版本. 链接：https://p

3D Face Reconstruction

weixin_34166847的博客

05-21

437

方法1 Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression http://aaronsplace.co.uk/papers/jackson2017recon/ demo http://cvl-demos.cs.nott.ac.uk/vrn/index.php ...

An End-to-End System for Unconstrained Face Verification with Deep Convolutional Neural Networks

cv_family_z的博客

02-03

1724

本文提出的系统是一个完整的自动人脸验证系统。我们首先从图片和视频帧中检测人脸。然后人脸跟踪，人脸特征检测，最后人脸匹配即相似度计算。整个系统流程图如下： 3.1. Face Detection 我们使用文献【27】的算法进行人脸检测，DeepPyramidDeformable Parts Model for Face Detection (DP2MFD)，一种基于深度学习的人脸检测器。

Deep3DFaceReconstruction踩坑实录

lyyiangang的博客

04-22

4510

在跑3d人脸ｄｅｍｏ Deep3DFaceReconstruction时遇到一些问题，拿个小本本记录下来．项目介绍这个项目实现了通过单张图片推理3d人脸参数的功能，对应的论文为：Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set. 代码基于tensorflow编写．环境介绍 Ubuntu18, 显卡1050ti，cuda配置： NVIDIA-SMI 450.10

linux配置Deep3DFaceReconstruction踩坑记录

weixin_46237217的博客

03-09

415

一、切换到python3.5环境。 Anaconda不同版本python环境的安装及切换_会飞的鱼的博客-优快云博客_anaconda python版本切换二、tensorflow启动 source ./tensorflow/bin/activate 三、tensorflow.python.framework.errors_impl.NotFoundError: 解决办法四、作者没提到但是要装的插件 1、tensorflow-graphics 没有安装的话无法使用mesh_renderer

（详细2DASL）3D Face Reconstruction from A Single Image Assisted by 2D Face Images in the Wild

qq_43703185的博客

07-22

531

原文链接：https://blog.youkuaiyun.com/qq_43420530/article/details/115014588?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162686344116780271556083%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=162686344116780271556083&biz_

End-to-End Reconstruction-Classification Learning for Face Forgery Detection

qq_37246721的博客

12-08

1310

现有模型主要通过提取特定的伪造模式进行深度伪造检测，导致学习到的表征与训练集中已知的伪造类型高度相关，因此模型难以泛化到未知的伪造类型上使用。1.真实样本的特征分布相对更为紧凑，因此学习真实人脸之间的共同特性比学习训练集呈现出的过拟合伪造特性更为合适。提出基于重构-分类学习的伪造检测框架，着重学习真实人脸的紧凑表征，一从真实人脸中区分出未知模式的伪造人脸。只对真实样本进行重建学习以习得真实图像的紧凑表示，通过真实人脸与伪造人脸在分布上的重构差异进行伪造检测。构建度量学习损失，增加重建区分度。

基于深度学习的端到端人脸识别技术：全面调研

喜欢打酱油的老鸟

10-27

1314

44页，共计371篇参考文献。本文全面介绍了端到端深度学习人脸识别技术，包括人脸检测，人脸预处理和人脸表征等方向，详细介绍了最新的算法设计，评估指标，数据集，性能比较等。 The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances 论文：The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances 作者单位：上海

三维人脸重建效果——《Accurate 3D Face Reconstruction with Weakly-Supervised Learning》

weixin_37340613的博客

07-04

2309

文献中的弱监督是基于生成图像与原图进行一系列比较得出的，可是3维模型投影到二维图像的这部分代码，原文没有给出，自己写了这部分代码，也就是论文中提到的光栅化(Rasterization)。下面是一系列测试结果，测试图片都是百度找的，如果有侵犯到你的肖像权，请息怒。 ...

精选论文与资源：单视图3D对象深度学习重建

单视图3D对象重建是一个高度复杂的计算机视觉任务，旨在从一张二维图片中恢复出三维结构。这项技术在3D打印、虚拟现实、增强现实、自动驾驶车辆等领域有着广泛的应用。要深入理解这项技术，我们需要掌握以下知识点：...