《统计学习方法》学习笔记（一）——统计学习方法概论

将记录学习此书的历程。以章节为单位。最后还会开辟专题。

---

统计学习方法三要素：模型（model）、策略（strategy）、算法（algorithm）。

Supervised learning：它的任务是学习一个模型，使模型能够对任意给定的输入与其相应的输出做一个好的输出。

回归问题：输入变量与输出变量均为连续变量的预测问题；
分类问题：输出变量为有限个离散变量的预测问题称为分类问题。

一个关于监督学习数据的基本假设是：随机变量X和Y具有联合概率分布。

损失函数：度量模型一次预测的好坏；
风险函数：度量平均意义下模型预测的好坏。

损失函数（Loss Function）：记作
常用的损失函数有：1.0-1损失函数；2.平方损失函数；3.绝对损失函数；4.对数损失函数；

风险函数（risk function）或平均期望损失（expected loss）
它是关于联合分布