cs小屋-层旋转-超强的深度网络泛化评价指标

层旋转
在训练时，神经网络的每一层与其初始状态之间的余弦距离的变化，每一层的权值与初始权值之间的余弦距离越大，总能使得模型的最终泛化性能越好。层旋转易于检测和控制有利于超参数调优，层旋转可以提供统一的框架，从而解释学习率调优，权重衰减，学习率预热和自适应梯度方法对泛化和训练迅速的影响。
层旋转的优良特性

• 有一个与网络五官的最优状态
• 很容易监控，因为他取决于网络权重的变化，所以在最优化的过程中，层旋转可以通过适当的权值更新规则得到控制
• 它提供了一个最优的统一的框架解释学习率调优，权值衰减，学习率预热，以及自适应梯度方法对于泛化和训练速度的影响。
  解释层旋转
  层旋转并不影响模型学习那些特征，而是影响训练过程中，这些特征被学习的程度。既然层旋转反应的是特征被学习的程度，那么越抽象越高级的特征，那么泛化性能就越好。