基本概念
学习的定义(Herbert A. Simon)
如果一个系统能够通过执行某个过程改进它的性能,这就是学习。
机器学习的定义(Tom Mitchell)
A program can be said to learn from experience E with respect to some class of task T and performance measure P, if its performance at tasks in T, as measured by P, mproves with experience E.
假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,则我们就说关于T和P,该程序对E进行了学习。
机器学习的目标
基于数据构建模型,并运用模型对数据进行预测与分析。
机器学习的基本假设
- 数据具有统计规律性,可用随机变量描述数据中的特征,用概论分布描述数据的统计规律。
- 数据之间符合独立同分布(i.i.d)。
- 要学习的模型属于某个函数的集合,称为假设空间
统计机器学习的三要素
模型、策略和算法,方法 = 模型+策略+算法。
机器学习的基本步骤:
- 得到一个有限的训练数据集合;
- 确定包含所有可能的模型的假设空间,即学习模型的集合;
- 确定模型选择的准则,即学习的策略;
- 实现求解最优模型的算法,即学习的算法;
- 通过学习方法选择最优模型;
- 利用学习得到的最优模型对新数据进行预测或分析。
统计机器学习的分类
监督学习,非监督学习,半监督学习和强化模型。
监督学习中,根据输入变量X和输出变量Y的类型分类
- X和Y均为连续变量称为回归问题。
- Y为有限个离散变量称为分类问题。
- X和Y为变量序列称为标注问题。
模型
条件概率分布P(Y|X)或者决策函数Y=f(X)。
策略
用损失函数(loss function)或者代价函数(cost function)来度量预测错误的程度,常用的损失函数包括:
- 0-1损失函数:
- 平方损失函数
- 绝对损失函数
- 对数损失函数
输入输出遵循联合概率分布P(X,Y),模型的期望损失如下: