「机器学习」正则化解决过拟合问题

一、定义

在理想误差为 0 的条件下：​​​​​​​

以线性回归为例：

以分类为例：

二、high bias 高偏差

        取决于 Training Data

• 解决方法：选择一个新的网络

  • 采用更多隐藏层或隐藏单元

  • 训练更长的时间

  • 使用更高级的优化算法

  • 找到更适合当前问题的神经网络结构

三、high variance 高方差

        是否具有一般化的能力/是否过拟合：取决于 Set Data

• 解决方法：

  • 获取更多的数据 / 使用较小的特征集合

  • 采用