2、机器学习的分类与三要素解析

机器学习的分类与三要素解析

1. 机器学习的分类

1.1 特殊学习类型

在机器学习中，有半监督学习和主动学习两种特殊类型，它们与监督学习较为相似。半监督学习利用未标记数据辅助标记数据，进行监督学习，能以较低成本获得更好的学习效果。主动学习则是机器主动且持续地将实例交给标注人员进行标记，然后利用标记好的数据学习预测模型。而一般的监督学习使用给定的标记数据，这些数据往往是随机获取的，可看作“被动学习”。主动学习的目标是找到对学习最有帮助的实例让标注人员标记，以较小的标记成本获得更好的学习效果。

1.2 按模型类型分类

机器学习模型可按多种类型进行分类，具体如下：
- 概率模型和非概率模型
- 形式 ：在监督学习中，概率模型采用条件概率分布 (P(y|x)) 的形式，非概率模型采用函数 (y = f(x)) 的形式；在无监督学习中，概率模型为条件概率分布 (P(z|x)) 或 (P(x|z))，非概率模型是函数 (z = g(x))。
- 举例 ：决策树、朴素贝叶斯、隐马尔可夫模型（HMM）等属于概率模型；感知机、支持向量机（SVM）、k - 近邻（KNN）等是非概率模型；逻辑回归可被视为概率模型和非概率模型。
- 转换关系 ：条件概率分布和函数可以相互转换。具体来说，条件概率分布最大化后可得到函数，函数归一化后可得到条件概率分布。二者的区别不在于输入输出的映射关系，而在于模型的内部结构。概率模型通常可表示为联合概率分布，非概率模型可能没有这样的联合概率分布。概率图模型