笔记：深度学习与有向无环图SVM结合用于年龄估计的局部调整

最新推荐文章于 2024-01-08 01:27:40 发布

原创

最新推荐文章于 2024-01-08 01:27:40 发布 · 1.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#年龄估计 #深度学习 #svm

本文介绍了一种结合深度学习（SE-ResNet-50）与有向无环图支持向量机（DAG-SVM）的局部调整年龄估计方法（LAAE），通过先粗略估计再进行局部微调，显著提升了年龄估计的精度。实验结果表明，LAAE在AFAD和MORPH数据集上优于纯深度学习和经典机器学习方法，尤其是在邻域设计上展现了性能优势。

阅读论文：Combined Deep Learning With Directed Acyclic Graph SVM for Local Adjustment of Age Estimation | IEEE Journals & Magazine | IEEE Xplore

2) SQUEEZE-AND-EXCITATION模块

1. 基本信息

C. Xiao, Z. Zhifeng, C. Jie and Z. Qian, "Combined Deep Learning With Directed Acyclic Graph SVM for Local Adjustment of Age Estimation," in IEEE Access, vol. 9, pp. 370-379, 2021, doi: 10.1109/ACCESS.2020.3046661.

关键词：年龄估计，深度学习，有向无环图支持向量机，局部调整。

2. 核心内容

A. 论文提出了一种基于深度学习和有向无环图SVM的局部调整年龄估计算法(LAAE)。流程图见图1。

B. 论文思想：在训练阶段，首先对VGGFace2数据集预先训练好的SE-ResNet-50网络进行微调。一旦网络收敛，由最后一个完全连接层的参数组成的向量作为表示，并训练多个一对一的（One-Versus-One）支持向量机。在测试阶段,我们首先将待估计的人脸图像送入SE-ResNet-50得到粗略的年龄估计值，然后设置特定的邻域，最后将训练好的支持向量机组合成有向无环图支持向量机，以全局估计的特定邻域为中心进行精确的年龄估计。

C. 实验设置：

数据集：VGGFace2数据集、AFAD图像集、MORPH图像集；

年龄估计的性能度量：平均绝对误差(MAE)和累积得分(CS)；

3. 相关内容

3.1 SE-RESNET-50

1) RESNET

在VGGNet中，CNN达到了19层，在GoogleNet中，网络的层数达到了前所未有的22层。然而，在深度学习中，网络层数的增加通常伴随着计算资源的消耗、模型过拟合、梯度消失和梯度爆炸等问题。对于有足够研究资金的企业或大学来说，只有通过GPU集群才能解决计算资源短缺的问题。通过收集大量有效样本数据，配合Dropout等正则化方法，也可以解决过拟合问题。梯度问题也可以通过批量归一化来解决。似乎只要神经网络的层数不断增加，就能获得效益，但实验数据并不能有效地支持这一观点。网络深度越大，训练误差越大。当网络退化时，浅层网络可以达到比深层网络更好的训练效果。此时，如果将较低层的特性传输到较高层，效果应该不会比浅层网络差。从信息论的角度看，由于数据处理不平等的存在，在前向传输过程中，随着层数的加深，特征图中包含的原始图像信息会逐层减少，而身份映射的加入则保证了网络的后一层必然比前一层包含更多的图像信息。基于快速映射的思想，提出了残差神经网络。

残差网络是在原有神经网络的基础上添加一系列残差模块而形成的，如下图2所示。图2可以表示为： $X_{l+1}=H(X_{l})+F(X_{l},W_{l})$ ，其中 $H(X_{l})=X_{l}$ 是图左边的恒等映射， $F(X_{l},W_{l})$ 为曲线右侧的残差，其中 $W_{l}$ 为 $l$ 层的权重和偏差。当当前层和后一层的特征图的数量维度不同时，需要进行1*1卷积运算来降低或提升维度。此时， $H(X_{l})={W}'_{l}X_{l}$ ，其中 ${W}'_{l}$ 是 1∗1卷积运算。