42、机器学习中的监督学习与无监督学习方法

机器学习中的监督学习与无监督学习方法

1. 监督学习方法概述

监督学习是通过已知标签的数据来学习模型，使其能够对给定输入做出相应输出预测的过程。它主要包括分类、标注和回归，本文着重介绍前两者。

1.1 应用领域

分类问题是将实例的特征向量映射到类别标签的预测问题，可能的预测结果有二元类别或多元类别；标注问题则是将观察序列映射到标注序列（或状态序列）的预测问题，可能的预测结果是所有标注序列，数量呈指数级。

常见的分类方法有感知机、k近邻（k-NN）、朴素贝叶斯方法、决策树、逻辑回归和最大熵模型、支持向量机（SVM）以及提升方法。其中，原始的感知机、SVM和提升方法用于二元分类，可扩展到多元分类。而隐马尔可夫模型（HMM）和条件随机场（CRF）则是标注方法。

以下是10种监督学习方法的详细总结：
| 方法 | 应用 | 模型特征 | 模型类型 | 学习策略 | 学习损失函数 | 学习算法 |
| — | — | — | — | — | — | — |
| 感知机 | 二元分类 | 分离超平面 | 判别模型 | 最小化误分类点到超平面的距离 | 误分类点到超平面的距离 | 随机梯度下降 |
| k近邻 | 多元分类与回归 | 特征空间与样本点 | 判别模型 | - | - | - |
| 朴素贝叶斯方法 | 多元分类 | 特征与类别的联合概率分布，条件独立假设 | 生成模型 | 最大似然估计，最大后验概率估计 | 对数似然损失函数 | 概率计算公式，EM算法 |
| 决策树 | 多元分类与回归 | 分类树与决策树 | 判别模型 | 正则化最大似然估计 | 对数似然损失函数 | 特征选