ML基础 - 深度神经网络中解决过拟合的方法

过拟合的原因是算法的学习能力过强；一些假设条件（如样本独立同分布）可能是不成立的；训练样本过少不能对整个空间进行分布估计。以下介绍几种常见的处理方法。

1. Dropout

1.1 分布式特征表达

分布式表征（Distributed Representation），是人工神经网络研究的一个核心思想。简单来说，就是当我们表达一个概念时，神经元和概念之间不是一对一对应映射（map）存储的，它们之间的关系是多对多。具体而言，就是一个概念可以用多个神经元共同定义表达，同时一个神经元也可以参与多个不同概念的表达，只不过所占的权重不同罢了。

举例，对于“小红汽车”这个概念，如果用分布式特征地表达，那么就可能是一个神经元代表大小（形状：小），一个神经元代表颜色（颜色：红），还有一个神经元代表车的类别（类别：汽车）。只有当这三个神经元同时被激活时，就可以比较准确地描述我们要表达的物体。

分布式表征表示有很多优点，其中一点是当部分神经元发生故障时，信息的表达不会出现覆灭性的破坏。比如，我们常在影视作品中看到这样的场景，仇人相见分外眼红，一人（A）发狠地说，“你化成灰，我都认识你（B）！”这里是说，当事人B外表变了很多（对于识别人A来说，B在其大脑中的信息存储是残缺的），但没有关系，只要B的部分核心特征还在，那A还是能够把B认得清清楚楚、真真切切！

利用神经网络的分布式特征表达（只要能保留核心特征），既可以实现成功完成任务（例如成功识别图片为猫），还可以用来阻止过拟合的发生，分布式特征表达可称为Dropout的来源。

1.2 Dropout工作原理

在深度学习中广为使用的技巧：丢弃学习（Dropout Learning）。核心思想和前文讲解的分布式特征表达有异曲同工之妙，关键就是保留核心特征。

“丢弃学习（Dropout，也称为“随机失活”）”是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。“丢