机器学习 · 总览篇 IV 机器学习的三要素

从基本理论上看，如前一篇介绍统计推断的文章所说，统计推断是机器学习十分重要的理论基础，所以机器学习狭义上就是指代统计学习方法；从方法框架上看，机器学习（统计学习方法）的组成有三个要素：模型、策略和算法。我们通常接触到的所谓“深度学习”、“支持向量机”、“罗吉斯蒂克回归”、“决策树”等等，都离不开这三要素。毫不夸张的说，学习机器学习的关键，就是掌握它这三个要素。

本文首发于我的知乎专栏《机器怎么学习》中 机器学习·总览篇(4) 机器学习的三要素，转载请保留链接 😉

一、机器学习的三要素

数据在机器学习方法框架中的流动，会按顺序经历三个过程，分别对应机器学习的三大要素：1. 模型；2. 策略；3. 算法

• 模型：谈到机器学习，经常会谈到机器学习的“模型”。在机器学习中，模型的实质是一个假设空间（hypothesis space），这个假设空间是“输入空间到输出空间所有映射”的一个集合，这个空间的假设属于我们的先验知识。然后，机器学习通过“数据+三要素”的训练，目标是获得假设空间的一个最优解，翻译一下就是求模型的最优参数。

• 策略：在模型部分，机器学习的学习目标是获得假设空间（模型）的一个最优解，那么问题来了，如何评判优还是不优？策略部分就是评判“最优模型”（最优参数的模型）的准则或方法。

• 算法：在策略部分，机器学习的学习目标转换成了求目标函数的最小值，而算法部分就是对函数最优解的求解方法。

三者关系如下图所示，

特征通过模型得到值和标签（ground truth）通过一定的策略形成对模型参数的评判标准，再 根据评判标准、通过优化算法 优化模型参数，从而达到模型训练的目的。

二、模型

2.1 判别模型和生成模型

一般来说，机器学习模型会分为判别模型（Discriminative Model）和生成模型（Generative Model）两类。

判别模型相对来说更常用，感知机（Perceptron）、罗吉斯蒂克回归（LR）、支持向量机（SVM）、神经网络（NN）、K近邻（KNN）、线性判别分析（LDA）、Boosting、条件随机场（CRF）模型都属于判别模型。判别模型本身又分为两类：

（1）直接对输入空间到输出空间的映射建模；

（2）分两步，先对条件概率P(y|x)建模，再分类。

生成模型是一种更加间接的建模，高斯判别分析（GDA）、朴素贝叶斯（NB）、文档主题生成模型（另外一个LDA，跟线性判别分析的LDA是完全不同的两个概念）、受限玻尔兹曼机（RBM）、隐马尔科夫模型（HMM）属于生成模型。分三步：先对联