《统计学习方法》学习笔记1——概论

统计学习

统计学习的对象是数据。
统计学习的方法：监督学习、非监督学习、半监督学习、强化学习。
统计学习方法三要素：模型、策略、算法。

监督学习

输入空间与输出空间：输入与输出可能的取值的集合。
具体输入通常由特征向量表示。
特征向量存在的空间为特征空间。
模型定义在特征空间上。
监督学习的目的是学习一个由输入到输出的映射，由模型表示。
模型属于从输入空间到输出空间的映射的集合。
监督学习的模型：概率模型、非概率模型。

学习策略

损失函数
经验风险最小化
结构风险最小化（加上正则化项（罚项））

模型评估

训练误差
测试误差
过拟合：正则化、交叉验证（简单交叉验证、S折交叉验证、留一交叉验证）

泛化能力

生成模型与判别模型

生成方法：由数据联合概率分布求出条件概率分布
判别方法：数据直接学习决策函数或条件概率分布