机器学习笔记---正则化为什么可以抑制过拟合？

前言

上期详细的介绍了过拟合的现象。那如何抑制过拟合呢？大家都知道应该加入正则化项，那为什么加入正则化可以达到这个效果？参考了很多资料，所以就有了这篇笔记。
本文约2.3k字，预计阅读15分钟

正则化

机器学习的直观理解

在机器学习中，我们要想找到数据背后的规律，就需要一个足够好的模型在数据上进行推理，这就是机器学习的训练过程。如何来定义模型的好坏呢？这就引入了「损失（代价）函数」的概念。

损失函数（loss function）：【指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数，借此直观表示的一些"成本"与事件的关联】---引自维基百科。通俗来说，就是衡量模型预测的内容和真实内容的差距。在统计学和机器学习中，损失函数的作用是估计参数。

我们定义样本 ， 为样本空间，模型函数 ，故预测值为 ，损失函数为 。因此机器学习的训练过程可以转换为一个在泛函空间内，找到一个使得全局损失 最小的模型 （当然实际总是会取个平均，此时的损失函数又叫做「经验风险」（empirical risk），即损失函数的期望）：

但上述损失函数只考虑了训练集上的经验风险，出现了过拟合的现象。为什么会出现过拟合？因为模型参数过多或者结构过于复杂。故我们需要一个函数来描述模型的复杂程度，即