统计学习方法总结

机器学习三要素

• 1.模型：基于统计学习的机器学习首先要考虑的是问题是学习什么样的模型，在监督性学习的过程中，模型就是索要学习的条件概率分布或者决策函数
• 2.策略:有了模型的假设空间，接下来要考虑通过设么样的准则学习或选择最优的模型，这里就要引入损失函数与分显函数的概念。
• 3.损失函数与风险函数：损失函数是度量模型一次学习的好坏，也就是说模型的预测值f(x)与真实值y的差距，通常用L(Y,f(x))来表示大小，当然，损失越小，模型越好（鲁棒性）

常用的损失函数有以下几种

1. 0-1损失函数：

：

1. 平方损失函数：
   
   3.绝对值损失函数
   

2. 对数损失函数
   

3. 经验风险最小化，当样本足够大时，经验风险最小化能保证有很好的学习效果，比如 极大似然估计就是经验风险最小化的一个例子
   

4. 结构风险最小化，当样本容量很小时，经验风险最小化学习 会产生过拟合现象，因而有了结构风险最小化，是在经验风险上加上表示模型复杂度的正则化项，也叫惩罚项
   
   7.SVM损失函数，也叫Hinge Loss
   
   8.softmax损失函数