第二卷 第一章 数据增强
根据Goodfellow等人的说法,正则化是“我们对学习算法所做的任何修改,旨在减少其泛化误差,而不是其训练误差”。简而言之,正则化可能会以略微增加训练误差为代价来减少我们的测试误差。
我们已经在第一卷的第9章中研究了不同形式的正则化;然而,这些是正则化的参数化形式,需要我们更新我们的损失/更新函数。事实上,还存在其他类型的正则化:
1、修改网络架构本身。
2、增强传入网络进行训练的数据。
Dropout是通过实现更大的泛化性来修改网络架构的一个很好的例子。这里我们插入一个层,将节点从