3D【11】人脸重建：Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition

最新推荐文章于 2024-10-27 08:15:00 发布
原创 最新推荐文章于 2024-10-27 08:15:00 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章介绍了一种基于3DMM理论的人脸重建方法，通过线性系数和特征向量求解，分为预训练encoder、decoder和整体模型训练三步。与高阶SVD张量分解理论不同，该方法利用3DMM，通过表情和身份系数重建人脸。

这篇文章的思想跟Multilinear Autoencoder for 3D Face Model Learning
本质上是完全一样的。将人脸重建看成是一个线性问题，然后求解线性系数和特征向量。而且训练方法也是一样的。分三步：1、预训练encoder；2、预训练decoder；3、训练整个模型。
两篇文章的区别是：该论文用的是3DMM的理论，而上面我提到的那篇用的是高阶SVD张量分解理论。

我们来看看模型结构：
这里写图片描述

其中 CR

最低0.47元/天 解锁文章
【3D形状重建系列】Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion
weixin_43882112的博客
01-11 1512
文章目录1 概要2 Motivation3 思想4 算法5 实验结果6. 结论及思考 1 概要 题目：Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion，CVPR 2020 论文：https://virtualhumans.mpi-inf.mpg.de/papers/chibane20ifnet/chibane20ifnet.pdf 代码：https://virtualhumans.mpiinf.mpg
3D人脸重建(一)综述
weixin_41386168的博客
11-25 1万+
3D人脸重建综述
FaceReconstruction
05-16
人脸重建 设置说明： 从以下链接下载300W-3D和300W-3D-Face数据集： : 将数据集解压缩到300W-3D/和300W-3D-Face/ 运行preprocess.py 运行train.py训练网络 运行Inference.py以生成推断
Automatic 3D Face Reconstruction based on Single 2D Image
09-22
Automatic 3D Face Reconstruction based on Single 2D Image
Interpreting and Disentangling Feature Components of Various Complexity from DNNs
This is Yu SI's blog. Kenny(司宇SIYU)
07-11 549
Paper: https://arxiv.org/abs/2006.15920 Motivation: 将原始特征分解成不同复杂度阶的特征分量。进一步设计分析解缠特征分量的度量。 方法： 不同复杂度的特征分量的解缠受知识蒸馏的启发。将目标 DNN 视为教师网络。然后，设计几个不同深度的解缠结网络（即解缠结网络）来模仿教师网络中间层的特征。由浅层解缠结网模仿的特征组件通常对应于低复杂性的特征组件。除了低复杂度的组件外，更深的解缠器网络可以逐步学习一个复杂度更高的附加特征组件。此外，我们发现 disentan
Disentangling Feature Extractor
weixin_43798819的博客
06-15 173
What is Disentangled Representation Learning? Disentangled representation is an unsupervised learning technique that breaks down, or disentangles, each feature into narrowly defined variables and encodes them as separate dimensions. The goal is to mimic th
双目相机定位3d python_3D人脸技术漫游指南
weixin_39867509的博客
11-23 660
本文来自旷视研究院，作者：闫东。AI 科技评论获授权转载。如需转载，请联系旷视研究院。目录导语3D人脸基础知识初识3D人脸相机模型3D相机3D人脸数据3D人脸相关任务常见Pipeline3D人脸识别3D人脸重建总结导语随着深度学习技术的推进，人脸相关任务研究也跃升为学界和业界的热点。人们所熟知的人脸任务一般包括人脸检测，人脸身份识别，人脸表情识别等，它们多是采用 2D RGB 人脸(一般包括一些纹...
3D Representation Methods: A Survey_METHODS
初见月
10-27 1315
3D表示方法综述(方法)
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Joint Face Image Restoration and Frontalization for Recognition 论文笔记
迷雾天堂的专栏
06-22 807
面向识别的联合人脸图像恢复与前向化 作者：Xiaoguang Tu 中国民航飞行学院 电子科技大学，百度，腾讯，新加坡国立大学 提出了一个网络可以同时解决人脸正面化和人脸复原 摘要 影响人脸识别的因素：姿态大，光照差，分别率低，模糊和噪声。以往通常将低质量人脸恢复成高质量人脸然后执行人脸识别。 本文解决了无约束人脸识别共同的挑战。 提出了一种多退化人脸复原(MDFR)模型，给定任意角度低质量人脸，恢复出正面的高质量人脸，创新点有三个。 首先，MDFR为编码器解码器结构，提取任意输入人脸低质量因子的图像表
Deep3DFaceReconstruction-Pytorch:弱监督学习的精确3D人脸重建
05-17
弱监督学习的精确3D人脸重建：从单个图像到图像集 回购协议Pytorch版本。 此存储库仅包含重建部分，因此您可以使用库来训练网络。 而预训练模式也从这个。 特征 神经网络 我使用mtcnn裁剪原始图像并检测5个地标。 的大多数代码来自 。 pytorc3d 在此，我使用渲染重建的图像。 估计内在参数 在原点回购（ ），则渲染的图像是不一样的，因为输入图像preprocess 。 因此，我添加了estimate_intrinsic以获取内部参数。 例子： 这里有些例子： 原始图片 裁剪图像 渲染图像 文件架构 ├─BFM same as Deep3DFaceReconstruction ├─dataset storing the corpped images │ └─Vladimir_Putin ├─examples
使用FaceReconstruction：重建现实中的三维人脸模型
gitblog_00042的博客
04-26 587
使用FaceReconstruction：重建现实中的三维人脸模型 是一个开源项目，由KeeganRen开发，专注于使用深度学习技术从二维图像中实时重建三维人脸模型。这个项目的目标是提供一种高效、准确的方法，将我们日常拍摄的照片或视频转化为富有立体感的人脸模型。 技术分析 该项目的核心是基于深度神经网络的算法，特别是3D卷积神经网络（3DCNN）和循环神经网络（RNN）。它首先通过2D面部关键点检...
（简单易懂PRNet）Joint 3D Face Reconstruction and Dense Alignment with position Map Regression Netw
qq_43703185的博客
07-28 1190
原文链接：https://blog.youkuaiyun.com/yfy1127yfy/article/details/102839840?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162736575416780261967321%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=16273657541678026196732
论文阅读：AAAI2022 PFD_Net :Pose-guided Feature Disentangling for Occluded Person Re-identification Based
张齐贤的博客
01-03 6709
1.作者提出了一种新的姿态引导特征解纠缠transform，用于occluded person Re-ID，利用姿态信息清晰地解开语义成分（如人体或关节部分），并选择性地匹配非被遮挡部分。 2.作者设计了一种姿态引导的push损失，以帮助关注人体部位，减轻遮挡和噪声的干扰，避免了特征学习的失败。 3.为了证明作者的方法的有效性，作者在封闭的，整体的Re-ID数据集上进行了实验。大量的实验结果表明，该方法优于SOTA方法。
【论文阅读】Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network
hu_yinghui的博客
09-06 1061
论文阅读： Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network 基于PRNet的联合三维人脸重建和密集对齐
dimension reduction、 feature disentangle
weixin_42666153的博客
03-20 234
auto-encoder,pca,t-SNE
Recognize Actions by Disentangling Components of Dynamics
karen17的博客
05-17 444
行为识别：Recognize Actions by Disentangling Components of Dynamics论文笔记 文章补充材料：http://openaccess.thecvf.com/content_cvpr_2018/Supplemental/1067-supp.pdf Abstract 本文提出一种新的convnet结果，该结构可以完全从原始视频帧中提取compon...
MDFR：基于人脸图像复原和人脸转正联合模型的人脸识别方法
喜欢打酱油的老鸟
08-17 1615
nk-1 识别率。在所有的实验模型中，FFN-S 和 FRN-TI 均获得了最好的精度。 表2列举了 FFN-S 和 FRN-TI 同其他方法在 Multi-PIE 数据集上人脸识别率的比较。FFN-S 在所有的姿态中获得了最好的效果，其次是FFN-TI。当姿态角度在±45°以内时，FFN-S 和FFN-TI获得了同 CAPG-GAN 相似的识别效果。但当姿态角度大于±45°时，FFN-S 和 FFN_TI 的效果要显著的好于 CAPG-GAN。 图4. 不同方法在多重低质量因素影响下的人脸复原
Inverting Generative Adversarial Renderer for Face Reconstruction
qq_43420530的博客
05-24 1436
相关研究介绍 目前的主流人脸三维重建技术大致分为两类方式，基于学习的方式与基于优化的方式。基于学习的方式，是借助CNN来回归控制人脸三维结构的3DMM系数，但是缺点便是依赖三维标注数据集，而3DMM的真实值其实是很难获取到的，这种三维数据集非常稀缺；基于优化的方式，是将所输入的二维人脸图像看做是一个生成的过程，由一系列的参数控制，如albedo(可以理解为人脸表面的不加光照的基础颜色)、纹理、光照、观察角度等，按照特定的渲染图像的法则最终计算出来二维人脸图像，而这样我们就可以通过比较渲染图像与输入图像的差异
DIFFER: Disentangling Identity Features via Semantic Cues for Clothes-Changing Person Re-ID
最新发布
11-11
由于没有关于 “DIFFER: Disentangling Identity Features via Semantic Cues for Clothes-Changing Person Re-ID” 的具体参考引用内容，下面基于常见的学术论文理解为你介绍。 “DIFFER: Disentangling Identity Features via Semantic Cues for Clothes-Changing Person Re-ID” 可能是一篇关于行人重识别（Person Re-ID）领域的研究论文。 ### 研究背景 行人重识别旨在跨不同摄像头视角下准确识别特定行人。而在实际场景中，行人可能会更换衣服，这给传统的行人重识别方法带来了挑战，因为传统方法往往依赖于外观特征，衣服的变化会导致外观特征的显著改变，使得识别准确率下降。 ### 研究目的 该研究的目的可能是通过利用语义线索来分离出与行人身份相关的特征，从而解决行人更换衣服时的重识别问题。通过这种方式，即使行人的衣服发生变化，也能够准确地识别出其身份。 ### 研究方法 可能提出了一种基于语义线索的特征分离方法（DIFFER），具体可能涉及以下方面： - **语义线索的利用**：从图像或视频中提取语义信息，例如行人的身体部位、姿态等，这些语义信息相对衣服外观来说更加稳定，更能反映行人的身份特征。 - **特征分离**：通过特定的算法或模型，将与身份相关的特征从其他干扰特征（如衣服特征）中分离出来，以提高在衣服变化情况下的重识别性能。 ### 研究意义 该研究对于实际的安防监控、智能视频分析等领域具有重要意义。在这些领域中，行人更换衣服是常见的情况，该研究成果能够提高行人重识别系统在复杂场景下的准确性和可靠性。 ### 代码示例 由于没有具体代码信息，下面给出一个简单的行人重识别模型的伪代码示例： ```python import torch import torch.nn as nn # 定义一个简单的行人重识别模型 class SimplePersonReIDModel(nn.Module): def __init__(self): super(SimplePersonReIDModel, self).__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1) self.relu = nn.ReLU() self.fc = nn.Linear(64 * 16 * 16, 128) def forward(self, x): x = self.conv1(x) x = self.relu(x) x = x.view(-1, 64 * 16 * 16) x = self.fc(x) return x # 创建模型实例 model = SimplePersonReIDModel() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值