笔记-统计学习方法-第一章01

一、学习的定义：

赫尔伯特·西蒙：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。

 Tom Mitchell ，机器学习：计算机程序可以在给定某种类别的任务 T 和性能度量 P 下学习经验 E ，如果其在任务 T 中的性能恰好可以用 P 度量，则随着经验 E 而提高。

我混合一下，定义：学习是一个过程，目的是提升系统（system）在新数据上的表现，手段是利用历史数据修正系统。

或者，学习是，利用历史数据修正系统，以提升系统在新数据上的表现的，过程。

结构解析：修正系统（做了什么），利用历史数据（怎么做的），提升系统在新数据上的表现（为什么做）。

不可缺少的关键词：历史数据，修正，系统，提升，新数据，表现。

二、统计机器学习的步骤：

(1)得到一个有限的训练数据集合
(2)确定包含所有可能的模型的假设空间,即学习模型的集合
(3)确定模型选择的准则,即学习的策略
(4)实现求解最优模型的算法,即学习的算法
(5)通过学习方法选择最优模型
(6)利用学习的最优模型对新数据进行预测或者分析

 

等待弄明白的问题：

p13，训练误差和测试误差与模型复杂度的关系。

L1L2正则化的区别。

逻辑回归损失函数。

感知机与最小二乘的关系。