2018 CVPR Partially Shared Multi-Task Convolutional Neural Network with Local Constraint 学习

具有局部约束的部分共享多任务卷积神经网络用于人脸属性学习

摘要

在本文中，我们通过同时考虑身份信息和属性关系来研究面部属性学习问题。尤其是，

我们首先介绍一个部分共享的多任务卷积神经网络（PS-MCNN），其中四个任务专用网络（TSNets）和一个共享网络（SNet）通过部分共享（PS）结构连接，以学习更好的共享和任务特定表示。为了利用身份信息来进一步提高性能，我们引入了局部学习约束，该约束最小化了每个样本的表示与具有相同身份的本地几何邻域之间的差异。 因此，我们提出了局部约束正则化多任务网络，称为局部约束的部分共享多任务卷积神经网络（PS-MCNNLC），其中集成了PS结构和局部约束来一起帮助框架学习更好的属性表示。CelebA和LFWA的实验结果证明了所提方法的前景。

1 介绍

面部属性学习[26,1,2,30,37,8,18,9]在许多现实世界的应用中引起了很多关注，如面部识别和验证[33,23,32,34,27]。 它旨在学习中级表示作为低级功能和高级标签之间的抽象。 然而，大规模的面部属性学习仍然是一个非常具有挑战性的问题，因为在野外捕获的面部通常受到诸如照明，姿势和表情等因素的变化的影响。

 

1.1

 由于卷积神经网络（CNN）的成功[16,35,31,6,24,10,11]，深度CNN表示已被广泛用于面部属性学习。 例如，Razavian等。 利用面孔通过识别网络提取面部特征，然后训练SVM进行属性分类[30]。 此外，Hand和Chellappa考虑利用属性相关性为属性分类构建可靠的深层体系结构 特别是，多任务深度CNN（MCNN）是通过共享所有属性的较低层网络并共享较高层来实现密切相关的。

属性通过拆分结构。 基于许多属性强相关的假设，MCNN将所有40个属性划分为9个属性组，以便类似的属性在组内，并且为每个组独立地学习高级特征。

虽然MCNN通过利用属性的补充信息已经成为最先进的性能，但是不同组之间的交互受到限制，因为它们在分裂后是独立的。 当组到达MCNN的高层时，组中消失的共享信息就会出现。 因此，属性组难以有效地利用该属性

从网络开始到结束的相关性，以提升整体表现。 从多任务学习的角度来看，有必要学习整个网络中的组（任务）之间的共享特征来建模

复杂的属性关系。 此外，MCNN忽略样本的身份信息，这意味着它们的相互依赖性并编码局部几何结构。由于这种局部结构通常有助于特征学习，忽略身份信息的现有属性学习方法可能不合适。

在本文中，我们以同时考虑身份信息和属性关系的新视角研究了多任务人脸属性学习问题。 我们假设结合身份信息和任务关系建模使我们能够开发更准确的多任务属性学习算法。 我们的假设基于两个见解：（1）有效的相互作用在不同的属性组（任务）之间帮助导致更准确的属性关系建模; （2）信息性身份标签通过建模属性学习的局部几何结构，进一步帮助提高性能。

2.1分体式结构

首先，我们提出了一种新颖的部分共享多任务卷积神经网络（PS-MCNN），其中任务关系由共享网络（SNet）捕获，并且任务特定网络（TSNets）捕获不同任务之间的可变性。与MCNN类似，根据空间信息将所有属性分成若干组，然后可以考虑每组的分类学习

作为一项个人任务。 PS-MCNN的关键思想在于为所有组共享一个公共网络，以学习共享功能，并构建特定于组的网络。

从架构的开始到结束的每个组都要学习任务特定的功能，这使得它与现有的MCNN不同，后者在低级层学习共享功能，同时在高级层学习任务特定功能。这种多任务学习方式有助于有效地利用来自不同任务的补充信息，同时最大限度地保留特定的特定信息

任务。图1给出了两个结构示例，以显示PS-MCNN和MCNN的相应策略。