VR来了,3D人脸重建跟上《三维人脸重建-3DMM》

三维人脸重建发展历程与研究现状 本文介绍了三维人脸重建技术的发展历程与研究现状,重点探讨了从3DMM到深度学习的演变过程。三维人脸重建旨在从二维图像中恢复三维人脸形状,广泛应用于虚拟人建模、安防、AR/VR、医疗整形等领域。文章详细介绍了3DMM、3DDFA、PRNet、DECA和MeshGraphormer等主流方法,并推荐了常用数据集。同时,文章指出了当前技术面临的挑战,如光照与遮挡、表情迁移、少样本泛化和推理速度等问题。 阅读详情

之前我们写过了《三维人脸重建入门》,接下来,自然就是入门之后的事情。当然了,不管是一个什么项目,方法永远不会是唯一的。

一 引言

To my best of knowledge,如之前所说,三维人脸重建方法分为三大类:(1)专业仪器采集;(2)专业人士处理;(3)图像处理方法。

第三类,也就是基于图像的三维人脸重建,才是我们关心的问题,那么第三类又有哪些方法呢?

To my best of knowledge,分为几下几个方向:

(1) 基于立体匹配的方法;(2) 基于3D Morphable Model的方法;(3) 基于Structure from Motion与光流的方法; (4) 基于structure from shape等方法。

事实上,上面的各种方法之间会有交叉,并没有一个完整的界限,之所以分开是为了学习的方便。本篇要学习的,就是基于3DMM的方法。

在引出3DMM之前,有一个概念引出,看下图: 0?wx_fmt=jpeg

 

上图,是英国人做的绘制各国女性平均脸的实验。平均脸,无需多加解释,就是综合了所有图片得到的一个平均特征。当然,在二维人脸识别中更常使用的概念是特征脸,与这里的平均脸有一定的差异。

特征脸方法的思想是:利用训练人脸图像样本集,找到一组标准正交基,将人脸线性投影至由该组基组成的向量空间,从而每一幅人脸图像都可以由这组标准正交基线性表示。

什么意思?就是一幅人脸,可以由其他许多幅人脸加权相加而来,学过线性代数的就很容易理解这个正交基的概念。我们所处的三维空间,每一点(x,y,z),

实际上都是由三维空间三个方向的基量,(1,0,0),(0,1,0),(0,0,1)加权相加所得,只是权重分别为x,y,z。

基向量空间,个人觉得实际上是线性代数最核心的思想了。

转换到三维空间,道理一样。每一个三维的人脸,可以在由一个数据库中的所有人脸组成的基向量空间中进行表示,而求解任意三维人脸的模型,实际上等价于求解各个基向量的系数的问题。

二 3DMM

3DMM,全称3D Morphable Model,由文[1-2]提出。Blanz等人在这两篇文献中提出的3DMM方法,输入图像可以是单张正面的人脸图像,多张正面的人脸图像,或者用户交互输入的图像,其重建效果可见下图,图1.1为输入图像,1.2为输出结果。

 

0?wx_fmt=png

图1.1

0?wx_fmt=png

图1.20?wx_fmt=png

图1.3

 

图1.3左上角为输入图像,右上角为重建结果,下面一排为改变图像的光照和姿态后的结果。

 

如果仅从上面的结果看,是不是会觉得非常惊艳?这还只是本世纪初的研究成果。当然,论文中呈现的结果,离实际工业应用往往还有很大的距离,毕竟文中只呈现好的结果,如果换张图效果可能就有非常大的差异。

下面从3个方面来介绍3DMM。

 

1. 数据库

前面说了,我们需要一个基向量空间,那么就需要一个数据库来建立该基向量空间。那么Blanz等人采用的数据库是怎样的呢?

a. 200个3D模型,也就是200张三维的人头部图像。100张男性,100张女性,年龄分布18~45岁。

b. 1张亚洲人脸,199张高加索人脸。

c. 采用结构光和激光进行采集,未处理前,每一个模型由70000个点描述,处理后由53490个点描述。

d. 在数据库的处理过程中,将所有模型的每一个点的位置都进行了精确一一匹配,也就是说,每一个点都有实际的物理意义,可能有右嘴角,可能是鼻尖。

 

 

该数据库的平均人脸形状和平均人脸纹理如下面所示:

 

0?wx_fmt=png

0?wx_fmt=png

 

左边是平均值,右边两行,分别是第1,2,3个主成分,+/-方差5所得的模型。从中可以看出,调整不同的人脸形状和纹理是很容易的。

 

接着上面的话题继续介绍数据库

e. 每一个模型包括的属性,性别,高度,宽度,年龄。有了这些属性之后,可以调整各个属性的系数,从而产生不同的人脸,看下图。

0?wx_fmt=png

f. 不仅如此,为了更精确地重建,还讲人脸分为了4个区域,这样我们就可以分别对各个区域进行精确地重建,然后再融合。0?wx_fmt=pngg. 对于现在的人脸识别来说,最重要的就是特征点的标记,也就是landmarks,因为这些点在处理的过程中,意义相比其他特征不明显的点,更加明显。作者提供了两种特征点标记方法。 特征点可以干嘛?更方便地用于初始化。

0?wx_fmt=png

 

 

2. 3DMM的基本原理

前面提到,一个3维的人脸,可以由其他人脸线性组合,这就是3DMM的核心思想。首先要说明的是,这个线性组合绝不是在笛卡尔坐标系下,也就是说不是拿采集的3D点的位置就直接进行线性组合。那么基向量从哪里来呢?相信熟悉的人都会想到,PCA。此处不会对PCA详解,不熟悉可以再去了解。

总之,PCA的功能就是,将数据从一个特征空间,转换到另外一个特征空间进行描述,放到高中数学,这样的思想其实有过。在平面直角坐标系下,圆的方程其实很不优雅,而转换到极坐标系下,则变得特别简单。

每一个模型都由很多点组成,每一点可以表为(x,y,z,r,g,b),其中(x,y,z)是位置坐标,(r,g,b)是颜色。此处,我们将x,y,z称为形状向量,r,g,b称为纹理向量(忘掉颜色吧)。形状和纹理,实际上可以说是完全不相干的东西,前者决定了脸的轮廓,后者决定了脸的肤色等。当然,在两者的共同作用下,才会出现皱纹等效果。数学描述如下:

每一张人脸可以表示为:

形状向量Shape Vector:S=(X1,Y1,Z1,X2,Y2,Z2,...,Yn,Zn)

纹理向量Texture Vector:T=(R1,G1,B1,R2,G2,B2,...,Rn,Bn)

而一张任意的人脸,其等价的描述如下:0?wx_fmt=png

式1

其中,Si,Ti就是数据库中的第i张人脸的形状向量和纹理向量。

到这里,PCA似乎还没有派上用场?

在这里,首先要给大家灌输一个知识,那就是在解决实际问题的过程中,数据的预处理,其重要性并不比一个方法或者模型低,没有经过归一化的数据,可能会对方法的稳定性构成非常大的挑战。

上面的式子,可以转换为下面的形式,0?wx_fmt=png

式2

其中0?wx_fmt=png是Si,Ti的平均值,而si,ti则都是Si,Ti减去各自平均值后的协方差矩阵的特征向量,而且是根据i降序排列的,系数也不再是a,b而是α,β。等式右边仍然是m项,但是累加项降了一维,减少了一项。如果原始的数据,为零均值或者已经做过去均值处理,那么这个式子的表达与式1还有什么区别呢?

区别就是:

si,ti都是线性无关的,而Si,Ti则不一定。取si,ti的前几个分量可以对原始样本做很好的近似,而Si,Ti则不行,因为si,ti是按照携带信息的重要性降序排列的,而重要信息往往掌握在少数的向量中。虽然本数据库只有200张图像,但是如果每一个分量都用上的,a就有两百个参数需要估计,而式2表现的形式可能只需要取前几个分量,从而大大减少参数的数目,并不失精度。

3. 3DMM如何恢复形状和纹理

这才是最重要的问题对不对,有了上面的模型之后,怎么从一张图片从恢复出形状和纹理呢?

首先,我们的输入只是一张图像,需要把它变成3维的模型,本身就是个病态问题,说人话就是:此问题无解,因为可以有无穷多个解。但是现实是,就算没有解的方程,我们仍然需要去求解。

思路是这样的;

(a) 初始化一个3维的模型(需要初始化内部参数α,β),初始化外部参数,包括相机的位置,图像平面的旋转角度,直射光和环境光的各个分量,图像对比度等等,共20多个位置参数,当然初始化需要有一定的技巧。

(b) 在初始参数的控制下,经过3D至2D的投影,即可由一个3D模型得到2维图像,然后计算与输入图像的残差。再以其误差,去反向传播调整相关系数,调整3D模型,不断进行迭代。

现在我们遇到的绝大多数问题,都是在迭代中求解最优解,上面的过程被称为Analysis-by-synthesis,不知道该怎么翻译好,总之就那么个意思吧。

具体的迭代细节和方法,不是此处可以说明白的,可以参考下面的文献,其中会牵涉到梯度下降法,Phong光照模型,贝叶斯理论等。

 

4. 3DMM到底如何

上面其实已经展示了一些结果,下面就最新的一篇文章【3,4】分析一下方法的效果。

这里就不完整的介绍论文,基于上面的3DMM模型,该论文具体采用了这样的一些技术:

(1) cascaded regressor。级联回归器,是该文章用于进行参数迭代的方法。输入为若干个训练好的弱回归器,和一个初始化的模型。

(1) regressor的输入是串联起来的关键点的局部SIFT特征向量。

 

0?wx_fmt=png

0?wx_fmt=png

0?wx_fmt=png

 

 

 

值得一提的是,该方法的结果是实时的,而不像原始的3DMM方法处理时间是以分钟为单位,输入可以是图像或者视频。

 

三 后记

很多人都觉得,2016年是VR的元年,那么我相信,3D人脸重建,一定是必不可少的一环。

 

四 参考文献

【1】Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]//Proceedings of the 26th annual conference on Computer graphics and interactive techniques. ACM Press/Addison-Wesley Publishing Co., 1999: 187-194.

【2】Blanz V, Vetter T. Face recognition based on fitting a 3D morphable model[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2003, 25(9): 1063-1074.

【3】Huber P, Feng Z, Christmas W. Fitting 3D Morphable Models using Local Features[J]., 2015.

【4】Huber P, Guosheng Hu, Rafael Tena. Etc. A multiresolution 3D morphable face model and fitting framework. 2016

 

 

 

 

 

 

OpenCV实现AAM和POSIT三维头部姿态估计技术详解 本文还有配套的精品资源,点击获取 简介:本文详细介绍了在计算机视觉中识别和分析三维姿态的核心技术,特别关注了结合Active Appearance Models (AAM)和Pose from Iterative Closest Point (POSIT)算法的三维头部姿态估计方法。AAM模型通过主成分分析(PCA)整合形状和纹理信息,用于头部姿态的识别与估计。POSIT算... 阅读详情

相关推荐

ptrade量化策略之沪深300指数增强

本策略的核心是在沪深300股票池中选股,选择的股票都是市值比较大,业绩比较好的白马股,根据市场相对位置以及基本面因子来选择股票

qq_29301281的博客 1193

[TOG2020](综述)3D Morphable Face Models—Past, Present, and Future

这是一篇关于3DMM(3D Morphable Face Model)的综述,概述了过去20年间这个领域的发展概况。

wrk226的博客 6582

STM32 SAI接口实战:用CubeMX快速配置多通道音频采集(附DMA优化技巧)

本文详细介绍了如何使用STM32的SAI接口通过CubeMX快速配置多通道音频采集系统,并提供了DMA双缓冲优化技巧。内容涵盖TDM模式配置、时钟同步、DMA优化及常见问题排查,帮助开发者高效实现高速数据采集应用。

weixin_42549037的博客 228

face recognition[翻译][深度人脸识别:综述]

这里翻译下《Deep face recognition: a survey v4》. 1 引言 由于它的非侵入性和自然特征,人脸识别已经成为身份识别中重要的生物认证技术,也已经应用到许多领域,如军事,进入,公共安全和日常生活。FR自然在CVPR会议中也占据了十分长的时间。早在1990年代,随着特征脸的提出[157],FR就成为了一个比较热门的研究领域。过去基于特征进行FR的里程碑方法在图1中有所...

weixin_34232363的博客 2028

GAMES101学习-第8课进行shader的初步了解

详细理解课上展示的像素着色器GLSL,以及了解了API、OpenGL、DirectX到底是什么,还有shadertoy这个网站的初步探索。

qq_41835314的博客 1917

已解决“TimeouEror [WinEror 10060由于连接方在一段时间后没有正确答复 或连接的主机没有反应,连接尝试失败“,亲测有效!!!

已解决"TimeouEror [WinEror 10060由于连接方在一段时间后没有正确答复 或连接的主机没有反应,连接尝试失败",亲测有效!!!

wbajsjhhhhh的博客 1万+

论文翻译:《3D3M: 3D Modulated Morphable Model forMonocular Face Reconstruction》

单目人脸重建的三维调制形变模型

Lacker_的博客 658

图文:银行核心账务处理逻辑(白话篇)

银行账务系统分为对内账(记录银行自身资产负债)和对外账(处理客户交易),通过特定编码规则的账号体系进行管理。采用T型账户结构和凭证制度确保每笔交易可追溯,通过明细核算与综合核算双线并行、每日轧账核对(科目日结单、总账、日计表)实现账务精准平衡。从业务触发到最终账平的全流程体现了银行账务"分层记录、双向核对、闭环校验"的核心原则,保障资金流动的透明性与安全性。

银行信息系统应用架构详解 544

3DMM(人脸3D形变统计模型)

3DMM(人脸3D形变统计模型) 1 3DMM方法介绍 3DMM是一种较为基础的三维人脸统计模型,最早被提出是用于解决从二维人脸图像恢复三维形状的问题。在3DMM方法发展的二十年来,各位学者对其进行了数据扩展和深入研究,又由于神经网络广泛使用,使得3DMM参数优化得到简化,基于3DMM方法的三维重建文章层出不穷。但此类方法基于一组人脸形状和纹理的统计模型来表示任意一张人脸,仍然存在重建人脸判别性...

philipwelia的博客 1万+

【AHE数据集】中国2019年多源热排放数据集-500m空间分辨率

【AHE数据集】中国2019年多源热排放数据集

WW、forever的博客 414

易盾滑块的js逆向分析

基于易盾的滑块验证码进行逆向分析,最种实现全系列的验证码逆向,包括滑块、点选、推理拼图等多种类型。

shanf7921的博客 3万+

非线性面部3DMM:深度学习驱动的三维人脸重建

非线性面部3DMM:深度学习驱动的三维人脸重建 Nonlinear_Face_3DMMSource code for "Nonlinear 3D Face Morphable Model"项目地址:https://gitcode.com/gh_mirrors/no/Nonlinear_Face_3DMM 在数字媒体和计算机视觉领域,精确地重建三维人脸模型是一项基础且重要的任务,它被广泛应用于表情...

gitblog_00055的博客 962

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

3D人脸重建技术对比:3DMM与3D高斯分布的选型指南

3D人脸重建是计算机视觉与图形学领域的核心技术,旨在从二维图像中恢复并操控人脸的三维结构与外观。其核心原理通常分为基于先验模型的参数化方法和基于数据驱动的表示学习。参数化方法通过预定义的模型基(如3DMM)实现高效、可控的重建,而数据驱动方法(如3D高斯分布)则通过可微渲染直接拟合场景细节,实现更高的视觉保真度。在技术价值上,前者为实时交互、移动端应用提供了轻量级解决方案,后者则为影视级数字人、高保真内容创作开辟了道路。从应用场景看,3DMM凭借其紧凑参数和成熟动画管线,在短视频特效、虚拟形象等实时场景中占

weixin_30588381的博客 296

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

船舶模型matlab代码-3DMM_edges:自动拟合3DMM的强大工具

船舶模型matlab代码-3DMM_edges:自动拟合3DMM的强大工具 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在现代计算机视觉和图形学领域,三维模型拟合技术得到了广泛应用,特别是在人脸重建和动画制作方面。船舶模型matlab代码-3DMM_edges 正是这样一个致力于3D可变形模型(3DMM)拟合的开源项目。它通过界标和边缘特征,实现了将3DMM自动拟合...

gitblog_06727的博客 396

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Extreme 3D Faces:突破性单图3D人脸重建技术,轻松穿透遮挡物的终极指南

Extreme 3D Faces是一个基于深度学习的3D人脸重建项目,能够从单张2D图像中精准重建具有真实细节的3D人脸模型,尤其擅长处理遮挡场景。该项目采用先进的形状和细节回归网络,发表于CVPR 2018,为计算机视觉领域提供了强大的人脸三维重建解决方案。 ## 🌟 技术突破:穿透遮挡的3D重建能力 传统3D人脸重建技术在处理遮挡物(如眼镜、帽子、头发)时效果往往大打折扣,而Extrem

gitblog_00229的博客 1050

【亲测免费】 探索3DMM-Fitting-Pytorch:新一代三维人脸拟合技术

探索3DMM-Fitting-Pytorch:新一代三维人脸拟合技术 在计算机视觉和人工智能领域,3D建模与面部识别技术正在飞速发展。是一个基于PyTorch的开源项目,专注于实现高效且精确的三维人脸模型(3DMM)拟合。本文将深入探讨该项目的技术背景、功能及优势,以便于开发者和研究者更好地理解和利用这一工具。 项目简介 3DMM-Fitting-Pytorch是基于经典的3D Morphable...

gitblog_00095的博客 709

3DDFA-V3——基于人脸分割几何信息指导下的三维人脸重建

从二维图像中重建三维人脸是计算机视觉研究的一项关键任务。在虚拟现实、医疗美容、计算机生成图像等领域中,研究人员通常依赖三维可变形模型(3DMM)进行人脸重建,以定位面部特征和捕捉表情。然而,现有的方法往往难以准确重建出如闭眼、歪嘴、皱眉等极端表情。为了增强3DMM对极端表情的捕捉能力,3DDFA-V3从训练策略和数据策略两个角度进行研究,以人脸分割为研究切入点,使用人脸部件分割的几何信息作为监督信号,设计损失函数,显著加强了对形状的约束,同时,3DDFA-V3设计了可靠的表情生成方法,能够大批量、可控地生成

知来者逆的博客 3048

3DMM边缘特征适配3D模型教程

3DMM边缘特征适配3D模型教程 1. 项目介绍 本项目是基于MATLAB的一个实现,专注于自动拟合3D变形模型(3D Morphable Model)到单张图像中,利用地标点和边缘特征。请注意,该项目尚在开发阶段,我们正处于持续优化的过程中。它提供了一种方法,通过结合面部地标和图像中的边缘信息来精确地匹配3D模型至二维图像,从而在计算机视觉领域有着广泛的应用前景。 2. 项目快速启动 要快速开始...

gitblog_00785的博客 751

3D Face HRN从零开始:人脸重建技术原理、UV展开逻辑与工程实现解析

本文介绍了如何在星图GPU平台上自动化部署3D Face HRN人脸重建模型,实现从单张2D照片快速生成高精度3D人脸。该技术通过深度学习智能推断面部几何结构与纹理,可广泛应用于虚拟角色创建、影视特效制作和虚拟试妆等场景,大幅提升3D内容生产效率。

weixin_36078669的博客 680

Karmem多语言支持详解:Go、Zig、AssemblyScript等7种语言使用教程

Karmem作为一种比Google Flatbuffers更快的二进制序列化格式,专为TinyGo和WASM优化,提供了对Go、Zig、AssemblyScript、C、C#、Swift和Odin七种编程语言的全面支持。本文将详细介绍如何在这些语言中集成和使用Karmem,帮助开发者快速上手这一高效的序列化工具。 ## 🌟 环境准备与安装 在开始使用Karmem前,需要先准备好基础环境并安装

gitblog_00472的博客 312

3D人脸重建(二)技术演进与前沿应用

本文系统梳理了3D人脸重建从传统手工特征到深度学习的技术演进历程,重点分析了深度学习如何通过端到端输出、自监督学习等方式重塑重建流程。文章深入探讨了当前前沿的神经渲染、表情身份解耦等技术,并阐述了其在人脸动画、虚拟现实等领域的应用与挑战。

weixin_29189003的博客 223

FaceRecon-3D实现3D人脸重建:基于卷积神经网络的深度学习应用

本文介绍了如何在星图GPU平台上自动化部署🎭 FaceRecon-3D - 单图 3D 人脸重建系统镜像,实现从单张照片快速生成可360度旋转的3D人脸模型。该技术可广泛应用于虚拟角色创作,例如游戏开发者能基于角色设定图,在几分钟内生成基础3D头模,大幅提升原型开发效率。

weixin_30632267的博客 296

3D Face HRN人脸重建模型:5分钟从2D照片生成3D人脸

本文介绍了如何在星图GPU平台上自动化部署3D Face HRN人脸重建模型,实现从2D照片快速生成3D人脸。该平台简化了部署流程,用户可便捷地将该技术应用于游戏角色创建、虚拟数字人制作等场景,大幅降低3D内容创作门槛。

weixin_35835030的博客 287

Extreme 3D Faces核心技术揭秘:形状回归网络与细节恢复如何协同工作?

Extreme 3D Face Reconstruction是一个突破性的**三维人脸重建**技术,能够从单张二维图像中恢复出具有精细细节的3D人脸模型。这项技术特别擅长处理**遮挡情况**,即使在戴眼镜、戴口罩或有其他遮挡物的情况下,也能准确重建人脸的三维结构。本文将深入解析这一技术的核心工作原理,特别是**形状回归网络**与**细节恢复**如何协同工作,实现高质量的三维人脸重建。 ## 🔍

gitblog_00498的博客 826
上一篇: 水平集——那些我膜拜过的牛人2
下一篇: 2016自动驾驶外行装逼攻略(超长文推荐)
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值