FaceNet论文翻译

FaceNet是一个直接学习从面部图像到欧几里德空间映射的系统,其中距离代表面部相似性。通过深度卷积网络训练,FaceNet生成128维嵌入,实现人脸识别、验证和聚类任务。在LFW和YouTube Faces数据集上,FaceNet的表现优于其他方法,降低了错误率。系统使用基于三重损失函数的训练,通过在线三重挖掘策略选择三元组,以确保训练中三元组的难度逐渐增加。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

《FaceNet: A Unified Embedding for Face Recognition and Clustering》
Abstract

尽管最近在人脸识别领域取得了重大进展[10,14,15,17],但是大规模有效地实施面部验证和识别对当前方法提出了严峻挑战。在本文中,我们提出了一个名为FaceNet的系统,它直接学习从面部图像到紧凑欧几里德空间的映射,其中距离直接对应于面部相似性的度量。生成此空间后,可以使用FaceNet嵌入作为特征向量的标准技术轻松实现面部识别,验证和聚类等任务。

我们的方法使用深度卷积网络训练直接优化嵌入本身,而不是像以前的深度学习方法那样的中间瓶颈层。为了训练,我们使用使用新颖的在线三重挖掘方法生成大致对齐的匹配/非匹配面部补丁的三元组。我们的方法的优势是更具代表性的效率:我们使用每个面只有128个字节来获得最先进的人脸识别性能。

关于广泛使用的野外Labeled Faces(LFW)数据库的数据,我们的系统获得了99.63%的新记录准确率。在YouTube Faces上它收到95.12%。与两个数据集上的最佳公布结果[15]相比,我们的系统将错误率降低了30%。

1. Introduction

在本文中,我们提出了一个统一的面部验证系统(这是同一个人),识别(谁是这个人)和聚类(在这些面孔中寻找普通人)。我们的方法基于使用深度卷积网络学习每个图像的欧几里德嵌入。训练网络使得嵌入空间中的平方L2距离直接对应于面部相似性:同一人的面部具有小距离并且不同人的面部具有大距离。

一旦产生了这种嵌入,则上述任务变得直截了当:面部验证仅涉及对两个嵌入之间的距离进行阈值处理;识别成为k-NN分类问题;并且可以使用诸如k均值或凝聚聚类之类的现有技术来实现聚类。

先前基于深度网络的面部识别方法使用在一组已知面部身份上训练的分类层[15,17],然后采用中间瓶颈层作为用于概括超出训练中使用的身份集合的识别的表示。这种方法的缺点是它的间接性和效率低下:人们不得不希望瓶颈表现能够很好​​地概括为新面孔;并且通过使用瓶颈层,每个面的表示大小通常非常大(1000的维度)。最近的一些工作[15]使用PCA降低了这种维度,但这是一种线性转换,可以在网络的一个层中轻松学习。

与这些方法相比,FaceNet直接将其输出训练为使用基于LMNN的基于三重损耗函数的紧凑128-D嵌入[19]。我们的三元组由两个匹配的面部缩略图和一个不匹配的面部缩略图组成,并且损失旨在将正对与负对分开距离边距。缩略图是面部区域的紧密裁剪,除了缩放和平移之外,没有2D或3D对齐。

选择使用哪些三元组对于实现良好的表现非常重要,并且受课程学习的启发[1],我们提出了一种新颖的在线负样本挖掘策略,确保在网络训练时不断增加三元组的难度。为了提高聚类精度,我们还探索了难正例挖掘技术,该技术鼓励球形聚类用于嵌入单个人。

作为我们的方法可以处理的令人难以置信的可变性的说明,请参见图1。显示了来自PIE [13]的图像对,这些图像对以前被认为对于面部验证系统来说非常困难。

图1.照明和姿势不变性。姿势和照明是人脸识别中长期存在的问题。该图显示了FaceNet在不同姿势和照明组合中相同和不同人的面对之间的输出距离。距离0.0表示面相同,4.0表示相反的光谱,两个不同的身份。您可以看到1.1的阈值会正确地对每一对进行分类。

本文其余部分的概述如下:在第2节中,我们回顾了该领域的文献; 第3.1节定义了三重态损失,第3.2节描述了我们新颖的三重态选择和训练程序; 在3.3节中,我们描述了所使用的模型架构。最后在第4节和第5节中,我们提供了嵌入嵌入的一些定量结果,并定性地探索了一些聚类结果。

2. Related Work

与其他最近采用深度网络的工作[15,17]类似,我们的方法是一种纯粹的数据驱动方法,它直接从面部像素中学习它的表示。我们使用标记面的大型数据集来获得姿势,光照和其他变化条件的适当不变性,而不是使用工程特征。

在本文中,我们探讨了最近在计算机视觉社区中取得巨大成功的两种不同的深度网络架构。两者都是深度卷积网络[8,11]。第一种架构基于Zeiler&Fergus [22]模型,该模型由多个交错的卷积层,非线性激活,局部响应归一化和最大汇聚层组成。我们另外添加了几个受[9]工作启发的1×1×d卷积层。第二种架构基于Szegedy等人的Inception模型。最近被用作ImageNet 2014的获胜方法[16]。这些网络使用混合层,并行运行多个不同的卷积和池化层,并连接它们的响应。我们发现这些模型可以将参数数量减少多达20倍,并且有可能减少可比性能所需的FLOPS数量。

有大量的面部验证和识别工作。审查它超出了本文的范围,因此我们将仅简要讨论最相关的最新工作。

[15,17,23]的工作都采用了多阶段的复杂系统,它将深度卷积网络的输出与PCA相结合,用于降维,SVM用于分类。

Zhenyao等。 [23]采用深度网络将面部“扭曲”成规范的正面视图,然后学习CNN,将每个面部分类为属于已知身份。对于人脸验证,使用网络输出上的PCA和一组SVM。

Taigman等[17]提出了一种多阶段方法,将面部与一般的三维形状模型对齐。训练多级网络以执行超过四千个身份的面部识别任务。作者还试验了一个所谓的连体网络(Siamese network),他们直接优化了两个面部特征之间的L1距离。它们在LFW上的最佳性能(97.35%)源于使用不同比对和颜色通道的三个网络的集合。使用非线性SVM组合这些网络的预测距离(基于α2内核的非线性SVM预测)。

Sun等人[14,15]提出了一种紧凑且因此相对简易的计算网络。他们使用这些网络中的25个网络,每个网络都在不同的面部补丁上运行。对于他们在LFW上的最终表现(99.47%[15]),作者组合了50个响应(常规和翻转)。采用PCA和联合贝叶斯模型[2],它们有效地对应于嵌入空间中的线性变换。他们的方法不需要明确的2D / 3D对齐。通过使用分类和验证丢失的组合来训练网络。验证损失类似于我们采用的三元组损失[12,19],因为它最小化了相同身份的面部之间的L2距离,并在不同身份的面部距离之间实施了边界。主要区别在于仅比较成对图像,而三重态损失促使相对距离约束。

Wang等人研究了与此处使用的类似的损失。 [18]用于通过语义和视觉相似性对图像进行排序。

3. Method

FaceNet使用深度卷积网络。我们讨论了两种不同的核心架构:Zeiler&Fergus [22]式网络和最近的Inception [16]型网络。这些网络的细节在3.3节中描述。

鉴于模型细节,并将其视为黑盒子(见图2),我们方法中最重要的部分在于整个系统的端到端学习。为此,我们采用三元组损失,直接反映了我们想要在面部验证,识别和聚类中实现的目标。也就是说,我们努力嵌入f(x),从图像x到特征空间 Rd\mathbb{R}^{d}Rd,使得相同身份的所有面之间的平方距离(与成像条件无关)很小,而来自一对不同身份的面部图像之间的平方距离很大。

图2.模型结构。我们的网络由批量输入层和深度CNN组成,然后进行L2归一化,从而实现人脸嵌入。接下来是训练期间的三联体损失。

虽然我们没有直接比较其他损失,例如使用成对的正面和负面的那个,如[14] Eq(2)。中所使用的那样。我们认为三联体损失更适合于面部验证。动机是[14]的损失鼓励一个身份的所有面孔被“投射”到一个嵌入空间中的单个点上。然而,三重态损失试图在从一个人到所有其他面部的每对面部之间强制执行边缘。这允许一个身份的面部生活在歧管上,同时仍然强制距离并因此可以与其他身份相区别。

以下部分描述了这种三重态损失以及如何有效地大规模学习它。

3.1. Triplet Loss

嵌入由f(x)∈Rd表示。它将图像x嵌入到d维欧几里德空间中。另外,我们将这种嵌入限制在d维超球面上,即 ∥f(x)∥2=1\|f(x)\|_{2}=1f(x)2=1. 这种损失在[19]中在最近邻分类的背景下被激发。在这里,我们希望确保特定人的图像 xiax_{i}^{a}xia(锚)比任何其他人的任何图像 xinx_{i}^{n}xin(负)更接近同一人的所有其他图像 x1px_{1}^{p}x1p(正)。这在图3中可视化。

图3.三联体损失最小化锚和正例之间的距离,两者具有相同的身份,并最大化锚和不同身份的负例之间的距离。

因此我们想要:
∥x1a−xip∥22+α<∥xia−xin∥22,∀(xta,xip,xin)∈T.(1) \left\|x_{1}^{a}-x_{i}^{p}\right\|_{2}^{2}+\alpha<\left\|x_{i}^{a}-x_{i}^{n}\right\|_{2}^{2}, \forall\left(x_{t}^{a}, x_{i}^{p}, x_{i}^{n}\right) \in \mathcal{T} . (1) x1

<think>好的,我现在需要回答用户的问题:如何检查或确定一个系统是否使用了深度神经网络。首先,我需要理解用户的需求。用户可能是在面对一个复杂的系统,想要了解其内部是否应用了DNN技术。接下来,我需要结合提供的引用内容,特别是引用[1]和[2],来组织回答。 首先,根据引用[2],DNN的特点是具有多层结构,进行非线性变换。因此,检查系统是否使用DNN可以从结构入手。比如查看模型的层数,是否有隐藏层,特别是深层结构。 然后,引用[1]提到DNN的发展趋势是层数深、结构复杂,所以可能需要关注模型的深度和复杂度。另外,用户可能需要技术文档或架构图来确认这一点。 接下来,用户可能需要分析输入输出模式。DNN通常处理高维数据,如图像、语音,所以系统的输入如果是这类数据,可能暗示使用了DNN。 性能指标也是一个方面。DNN在训练时需要大量计算资源,推断时可能需要GPU加速。如果系统有高计算需求,可能涉及DNN。 查看源代码或API调用,如果有使用TensorFlow、PyTorch等框架,可能说明使用了DNN。此外,预训练模型的使用,如ResNet、BERT,也是线索。 技术白皮书或论文引用,系统文档中提到的技术如果涉及深度学习,可以进一步验证。 黑盒测试方面,输入对抗样本观察反应,或者分析响应时间,也可能帮助判断。 最后,咨询开发团队是最直接的方式,但可能不可行。需要综合多种方法。 需要确保回答结构清晰,分步骤说明,并引用提供的资料。例如,在提到模型结构时引用[2],在趋势部分引用[1]。 还要注意用户可能的技术水平,提供不同层级的检测方法,从文档检查到代码分析,再到实际测试。需要保持回答的实用性和可操作性。</think>要检测系统中是否存在深度神经网络(DNN)的应用,可以通过以下步骤进行分析: --- ### 1. **分析系统架构与文档** - **检查技术文档**:查看系统设计文档或白皮书,寻找与“深度神经网络”“多层感知机”或“卷积神经网络”等相关的术语。若文档提到“层级化特征学习”或“非线性变换”[^2],可能暗示使用了DNN。 - **模型结构**:若系统公开模型细节,检查其层数是否包含多个隐藏层(例如超过5层)。DNN的核心特征是通过多层非线性处理实现复杂映射。 --- ### 2. **输入输出模式观察** - **数据类型**:DNN常用于处理高维、非结构化数据(如图像、语音、文本)。若系统输入为像素矩阵或语音波形,输出为分类标签(如目标检测结果),可能基于DNN。 - **实时性需求**:DNN推断可能需要GPU加速。若系统依赖高性能计算硬件(如NVIDIA GPU),可间接推测其使用了深度模型。 --- ### 3. **代码与依赖库分析** - **框架检测**:检查代码库是否包含TensorFlow、PyTorch或Keras等深度学习框架的调用。例如: ```python import torch.nn as nn # 典型的神经网络模块导入 ``` - **模型加载**:查找`model.load_weights()`或`tf.saved_model.load()`等函数,可能指向预训练的DNN模型(如ResNet、BERT)[^1]。 --- ### 4. **性能与资源监控** - **计算负载**:通过性能分析工具(如`nvidia-smi`)监控GPU利用率。DNN推断通常伴随显存占用突增和高计算负载。 - **响应延迟**:DNN推断时延较高(尤其在未优化时),若系统响应时间与输入规模正相关,可能涉及复杂网络计算。 --- ### 5. **黑盒测试方法** - **对抗样本测试**:向系统输入轻微扰动的数据(如对抗样本),若输出发生显著变化,可能使用了DNN(因其对输入扰动敏感)。 - **特征可解释性**:使用梯度类方法(如Grad-CAM)生成热力图。若系统输出可映射到输入数据的局部特征,可能是DNN的决策依据。 --- ### 6. **参考行业应用场景** - DNN常见于图像识别(如人脸验证)、自然语言处理(如机器翻译)、推荐系统等场景[^1]。若系统功能匹配这些领域,可进一步验证。 --- ### 示例场景 - **人脸识别系统**:若系统使用OpenCV结合Dlib库,可能基于传统算法;若依赖MTCNN或FaceNet,则使用了DNN。 - **语音助手**:若语音转文本使用循环神经网络(RNN)或Transformer架构(如Whisper模型),则为DNN应用。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值