机器学习方法概论

基本概念

学习的定义(Herbert A. Simon)

如果一个系统能够通过执行某个过程改进它的性能，这就是学习。

机器学习的定义(Tom Mitchell)

A program can be said to learn from experience E with respect to some class of task T and performance measure P, if its performance at tasks in T, as measured by P, mproves with experience E.

假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。

机器学习的目标

基于数据构建模型，并运用模型对数据进行预测与分析。

机器学习的基本假设

1. 数据具有统计规律性，可用随机变量描述数据中的特征，用概论分布描述数据的统计规律。
2. 数据之间符合独立同分布(i.i.d)。
3. 要学习的模型属于某个函数的集合，称为假设空间

统计机器学习的三要素

模型、策略和算法，方法 = 模型+策略+算法。

机器学习的基本步骤：

1. 得到一个有限的训练数据集合；
2. 确定包含所有可能的模型的假设空间，即学习模型的集合；
3. 确定模型选择的准则，即学习的策略；
4. 实现求解最优模型的算法，即学习的算法；
5. 通过学习方法选择最优模型；
6. 利用学习得到的最优模型对新数据进行预测或分析。

统计机器学习的分类

监督学习，非监督学习，半监督学习和强化模型。

监督学习中，根据输入变量X和输出变量Y的类型分类

1. X和Y均为连续变量称为回归问题。
2. Y为有限个离散变量称为分类问题。
3. X和Y为变量序列称为标注问题。

模型

条件概率分布P(Y|X)或者决策函数Y=f(X)。

策略

用损失函数(loss function)或者代价函数(cost function)来度量预测错误的程度，常用的损失函数包括：

• 0-1损失函数：

• 平方损失函数

• 绝对损失函数

• 对数损失函数

输入输出遵循联合概率分布P(X,Y)，模型的期望损失如下：