统计学习笔记——统计学习三要素

参考书：《统计学习方法》——李航

统计学习的三要素为：模型、策略、算法。

写在前面的话：

以下以监督学习为基础来进行论述。

监督学习的假设：在监督学习当中，我们假设输入和输出的随机变量和服从联合概率分布，训练数据和测试数据被看做是依联合概率分布独立同分布产生的。

一、模型

在监督学习当中，我们的目的是学习一个由输入到输出的映射，这个映射就是模型。一般来说，模型有两种形式，一种是概率模型（条件概率分布），另一种形式是非概率模型（决策函数）。我们根据实际情况和具体的学习方法来决定是用概率模型还是用非概率模型。

二、策略