统计学习笔记2

策略：

• 考虑按什么准则学习或选择最优的模型

损失函数：

度量模型一次预测的好坏，有以下几种：

由于输入输出（X,Y）为随机变量，且为联合分布，因此其期望是：

统计学习的目标就是选择期望风险最小的模型，由于联合分布P（X,Y）未知，不能直接计算；我们选择用经验风险估计期望风险；由大数定理可知，当样本规模足够大的时候，经验风险将趋于期望风险；但由于实际的样本量往往无法达到要求，需要对经验风险进行矫正，下面将介绍“经验风险最小化”与"结构风险最小化“两种基本策略

经验风险最小化：

经验风险最小化的策略认为，经验风险最小的模型是最优模型

当样本足够大的时候，经验风险最小化效果显著，如极大似然估计；但样本数据较少时，可能会出现”过拟合“现象；为解决这一问题，我们引入”结构风险最小化“策略。

结构风险最小化：

在”经验风险最小化“的基础上加上正则化项（罚项）

J（f)是模型复杂度，模型越复杂，J（f)越大，反之越小；
如：最大后验概率估计
”结构风险最小化“策略认为结构风险最小的模型为最优模型

现在，监督学习问题就变成了”经验风险“或”结构风险“最小化问题