知来者逆的博客

从二维图像中重建三维人脸是计算机视觉研究的一项关键任务。在虚拟现实、医疗美容、计算机生成图像等领域中，研究人员通常依赖三维可变形模型（3DMM）进行人脸重建，以定位面部特征和捕捉表情。然而，现有的方法往往难以准确重建出如闭眼、歪嘴、皱眉等极端表情。为了增强3DMM对极端表情的捕捉能力，3DDFA-V3从训练策略和数据策略两个角度进行研究，以人脸分割为研究切入点，使用人脸部件分割的几何信息作为监督信号，设计损失函数，显著加强了对形状的约束，同时，3DDFA-V3设计了可靠的表情生成方法，能够大批量、可控地生成

人脸换脸，通常称为人脸交换或人脸替换，是一种使用图像或视频编辑技术将一个人的面部特征替换成另一个人的面部特征的过程。这项技术在娱乐、电影制作、安全监控和身份验证等领域有广泛应用，但同时也伴随着隐私和伦理问题。（1）.技术基础人脸换脸技术通常基于深度学习算法，尤其是生成对抗网络（GANs），这些算法能够学习并模拟真实人脸的特征。（2）.关键组件数据集：需要大量人脸图像来训练模型，以便捕捉不同的表情、光照条件和姿态。预处理：包括人脸检测、对齐和归一化，确保输入数据适合模型处理。

在本文中，他们提出了一种新的金字塔监督，为精细化学习提供了更丰富的多尺度空间背景。它可以很容易地引入传统方法。实验结果也表明其在泛化和解释性能上都有很高的有效性。要实现安全可靠的人脸识别系统，高泛化性能和高可解释性是不可缺少的。未来，我们期望通过将其纳入更先进的架构和基于像素的标签，进一步提高系统的性能。

本文提出了一种新的视觉语言模型 DFER-CLIP，用于露天（野外）动态面部表情识别。在视觉部分，以 CLIP 图像编码器为基础，引入了一个由多个 Transformer 编码器组成的时间模型，模拟随时间变化的面部表情特征。在文本部分，采用了与面部行为相关的面部表情描述符，这些描述符由大规模语言模型（如 ChatGPT）生成。我们还为这些描述符设计了可学习的上下文，以帮助模型在训练过程中学习每个面部表情的相关上下文信息。

XFR算法的目标是可视化，为什么人脸识别模型确定该人脸，而不是其他人脸是最相似的。一种方法是突出并可视化与判断为最相似的ID相匹配的区域，而不是其他ID。创建Saliency Map）。为了评估XFR算法的性能，重要的是要将该区域以高分辨率可视化。评价这种XFR算法的性能的一个重要问题是Ground Truth的生成。在XFR中，Ground Truth不仅取决于Probe、Mate和Non-Mate的选择，还取决于要评估的网络。

传统的参数化面孔技术越来越多地被用作利用人工智能（AI）而非计算机生成图像（CGI）的变革性过程的指导原则。在这项研究中，作者们提出了一个目标：“我们的目标是根据现实世界中的自然面部变形编辑人像面部的整体形状，生成高质量的人像视频重塑结果。这可用于诸如用于美化的匀称脸部生成和用于视觉效果的脸部夸张等应用。自从Photoshop这类图像编辑软件普及以来，消费者已经能够对2D图像进行面部扭曲和变形的操作。然而，这些操作有时会导致不自然甚至令人难以接受的结果，特别是当涉及到身体畸形的图像处理时。

正如论文所提到，当前的最先进（State of the Art, SOTA）模型在处理现实世界中的退化图像时仍存在局限，但论文提出的方法成功地克服了这些挑战。论文的方法不仅在实际应用中显示出了直接的效用，而且还具备了扩展到其他领域的潜力。论文的工作不仅限于面部修复，还可以扩展到面部着色、面部绘画以及非面部图像的修复等任务。此外，GPEN（Guided Perception and Exploration Network）的设计允许它为单个低质量图像生成多个高质量的输出，这为创造性的应用和进一步的探索提供

在image2image任务中，我们将输入的图像分为几何图形和外观，并在潜伏空间中为它们分别准备了变换器，这使得我们能够在几何变化较大的情况下变换风格。此外，通过引入新的损失函数，我们使学习比CycleGAN更稳定。

理想情况下，人脸分类器能够以人类的准确度识别人脸，并且无论图像质量、姿势、表情或照明如何，它都能够返回高精度。此外，理想的人脸识别框架只需很少的修改或无需修改即可应用于各种应用。尽管 DeepFace 是目前最先进、最高效的人脸识别框架之一，但它并不完美，在某些情况下可能无法提供准确的结果。但是DeepFace框架是人脸识别行业的一个重要里程碑，它通过利用强大的度量学习技术缩小了性能差距，并且随着时间的推移，它将继续变得更加高效。

作为数据收集工作的一部分，我们从名人数据集（如 VoxCeleb2 和 CelebA）中精心挑选了 1,070 位名人的图片。这些名人性别均衡，涵盖不同年龄段。每位名人都从在线视频和现有数据集中挑选了约 20 张图片，共计 23,661 张图片。下一步是生成人脸图像。以往的研究表明，这两者之间存在正相关关系：输入提示的质量越高，生成图像的质量就越好。在此基础上，我们设计了多样化的精确提示，以帮助使用条件扩散模型（CDM）生成高质量的图像。

本文创建了一个新的数据集--InterRace，以准确评估偏见。现有的数据集很大，很容易使用，但包含了很多数据，阻碍了人脸识别模型的训练，如下图所示，因为不同的人被标记为同一个人，包含了模糊的图像，有时在一张图像中包含多个人。此外，类似的图像被包括在画廊和测试中，这包括了在准确性评估中可能导致不合理的高准确性的数据。此外，数据集中人口统计学标签的构成比例高度倾斜，使其难以准确验证偏差。在本文中，一个新的数据集InterRace是通过使用大型数据集LFW和CelebA进行人工纠正和分类而创建的。

为了解决深度学习的 "黑箱 "问题，人们提出了各种与可解释人工智能（XAI）相关的技术。特别是，在图像识别相关任务中引入了各种突出图算法，以突出与模型确定相关的 CNN 内部层和重要像素。然而，许多算法虽然在分类任务中表现出卓越的实用性，却无法直接适用于具有不同内部模型结构和输出格式的其他图像识别任务。人脸识别相关任务就是其中之一。人脸识别需要的不仅仅是生成显著性地图，还需要解释和说明人脸识别模型是如何识别人脸图像对的，以及为什么某些图像对更有可能是同一个人的图像。

本项目提供的两个大型数据集是WebFace260M和WebFace42M。WebFace260M是通过大规模的WebFace与网络上收集的噪声生成的，然后通过一个名为CAST的管道自动清洗得到WebFace42M。 为了构建WebFace260M，我们首先从MS1M（由Freebase组成）和IMDB中获得4M人的名单。

基于GAN的系统在不戴眼镜的情况下生成逼真的人脸图像，同时引入身份提取器的机制，使输入和输出的图像保持相同的ID。这种方法还可以预测人脸形状的二元掩模，使我们可以利用空间信息有效地去除人脸图像中的眼镜。人脸识别的实验表明，在TAR@FAR=10-5时，应用EyeGlassesGAN可以提高人脸识别的准确率约7%。在未来。可能需要提高鲁棒性，以确保在去除特殊眼镜和极端光照条件下的高精度。还可以将这种技术与人脸分析技术结合起来，可以扩展到去除其他属性，如胡须和帽子。此外：由于该系统可以在不戴眼镜的情况下

本文提出了一个名为AttenFace的系统，它使用面部识别来实时统计出勤率。到目前为止，检查课堂出勤率是一个费时费力的过程，但AttenFace成功地实现了这一过程的自动化。此外，AttenFace以区块为单位，每10分钟确定一个学生是否在场，依据的是区块整体的百分比是多少。因此，学生不能在上课时离开教室，必须在教室里停留一定的时间。可以自动确定出勤率，同时排除不正常的情况。本文没有提到所使用的面部识别算法或面部识别的准确性，但在实践中，曾出现过无法检测到学生或无法准确识别学生的情况。各种因素，如教室的照明

因此，本文比较并评估了多种人脸识别模型在辨别 "蒙蔽 "和 "未蒙蔽 "人脸图像时的性能。本文使用了六种传统的机器学习算法：支持向量机（SVC）、K 近邻（KNN）、线性判别分析（LDA）、决策树（DT）、逻辑回归（LR）和天真贝叶斯（NB）。(深度学习模型尚未经过验证）。它研究了蒙面人脸图像的最佳和最差性能模型。论文还根据一个蒙面和未蒙面人脸图像数据集以及一个半蒙面人脸图像数据集对性能进行了评估。与以往的研究相比，本文的独特之处在于研究了广泛的面具佩戴数据和机器学习模型。

在人脸识别任务中，GPT-4 能够有效区分不同的面部特征，并能准确说出每张脸的特征。在性别检测方面，它也表现出很高的准确性，尤其是对于难度较大的年龄组。在年龄估计方面，它倾向于预测一个年龄范围，而不是一个精确的值，但它提供的预测值接近实际年龄，特别是对于较年轻的人群。这些实验结果表明，GPT-4 在生物识别应用中表现出良好的性能，并表明大规模语言模型和底层模型可能在生物识别中发挥重要作用。

本文提出了一种基于面部表情辨别帕金森病症状有无的方法，并证明这是一种可靠的生物标志物。研究还表明，微笑表情是鉴别的一个重要因素。此外，我们还表明，微笑表情是歧视的一个重要因素。从而实现更容易的诊断。这可以让目前难以诊断的人更容易诊断，也可以成为精神科医生无法到达的地区的助手。

本文介绍了一个新的公共数据集，专为闭塞感知人脸识别而设计。与传统的合成遮挡方法相比，我们采用了一种创新的面部特征点映射技术来合成遮挡物，这种方法更贴近现实世界的应用场景。我们提出了一种综合的遮挡合成方法，它能够更真实地模拟实际中的遮挡情况。通过将此方法应用于现有的Webface数据集，我们成功构建了一个包含大规模遮挡图像的公共数据集。此外，我们在该数据集上对ArcFace模型进行了重新训练，结果表明，重新训练后的模型在LFW-Mask和RMFRD数据集上分别达到了97.08%和78.25%的高准确率。

本文提出了一种新颖的面部防欺骗模型，利用面部皮肤斑块作为输入特征。该方法无需传输面部图像，也无需对面部图像进行加密和解密。与传统方法相比，它消除了个人数据泄露的风险，并将反欺骗过程的时间大幅缩短至约四分之一。

本文介绍了一种基于哈希函数的重复人脸图像检测方法。它还提出了如何在预处理过的人脸图像和原始图像上使用这一方法。利用这些方法，我们检测了通过网络搜刮收集的五个具有代表性的人脸图像数据集的重复图像。除 LFW 数据集外，每个数据集中都有超过 1%的图像被认为是重复图像，从数百到数十万不等。大多数重复图像属于一个数据集目标（目标内重复），但也有一些，尤其是在 C-MS-Celeb 数据集中，属于多个目标（目标间重复）。它还展示了如何从数据集中有效识别和删除重复图像。

我们尝试了不同的方法，并在每项任务中使用了我们自己的数据集以及其他公开可用的数据集，包括人脸识别、性别分类、人脸形状确定和情感识别。我们还选择了 VGGNet 模型，因为它在使用这些数据集的所有任务中表现最佳。此外，我们还将所有表现最佳的模型结合起来，开发了一个名为 IdentiFace 的多模态面部生物识别系统。该系统集成了人脸识别、性别分类、面部形状确定和情感识别于一体。