《图解深度学习》学习笔记（五）

第六章 提高泛化能力的方法

前情回顾：

1. 训练样本必不可少；
2. 预处理后的数据更容易训练；
3. 改进后的激活函数和训练方法有助于提高神经网络的泛化能力。

本章将详细介绍这些方法。

一、训练样本

数据增强(data augmentation)

1、ImageNet数据集

ImageNet数据集中的类别按照层级结构分布：参照了自然语言处理领域的层级结构词典WordNet。每个大类下面又细分好多小类。不同类别下的样本图像的外观和形状也多种多样，拍摄环境、拍摄角度以及形状也存在差异。其卓越之处在于为图像添加了类别注释信息，同时添加了物体的位置信息(矩形框)，所以其不仅可以用于物体识别，还可以作为物体检测的数据集来使用。

ImageNet大规模视觉识别挑战赛(ImageNet Large Scale Visual Recognition Callenge, ILSVRC)使用的就是ImageNet数据集。ILSVRC使用了ImageNet的一部分数据，包含1000个类别，每个类别选取了约1000张图像，总计有120万张训练图像。使用这些样本训练后的卷积神经网络具有较高的泛化能力，所以也有人提出把该网络参数作为神经网络的初始值进行网络训练。（预训练模型。）

2、Places数据集

Places数据集包含多种场景，例如厨房和卧室等室内场景图像，港口和山川等室外场景图像，以及交通工具和建筑物等场景图像。风景图像。

3、数据增强

所谓数据增强：就是通过对样本图像进行平移、旋转或者镜像翻转等方式进行变换，来得到新的样本。除此之外，变换方式还包括几何变换、对比度变换、颜色变换、添加随机噪声以及图像模糊等。

对于手写字符识别等样本会产生形状变化的情况，可以先改变其形状(变形)再进行数据增强。变形方法可以使用弹性变换算法(elastic distortion)。弹性变换算法可以使用双线性插值(bilinear interpolation)或双三次插值()等插值法。

二、预处理

当样本类别内差异较大时，为了减小样本差异，会对样本数据进行一些预处理：

• 均值减法
• 均一化
• 白化

1、均值减法

大规模的物体识别经常使用