机器学习_14_多分类及多标签分类算法

1 单标签二分类问题

1.1 单标签二分类算法原理

• 单标签二分类这种问题是我们最常见的算法问题，主要是指label标签的取值只有两种，并且算法中只有一个需要预测的label标签；直白来讲就是每个实例的可能类别只有两种(A or B)；此时的分类算法其实是在构建一个分类线将数据划分为两个类别。常见的算法：Logistic、SVM、KNN等

1.2 Logistic算法原理

2 单标签多分类问题

2.1 单标签多分类算法原理

• 单标签多分类问题其实是指待预测的label标签只有一个，但是label标签的取值可能有多种情况；直白来讲就是每个实例的可能类别有K种(t1,t2,…tk,k≥3)；常见算法：Softmax、KNN、决策树等；

2.2 Softmax算法原理

在实际的工作中，如果是一个多分类的问题，我们可以将这个待求解的问题转换 为二分类算法的延伸，即将多分类任务拆分为若干个二分类任务求解，具体的策 略如下：

• One-Versus-One(ovo)：一对一
• One-Versus-All / One-Versus-the-Rest(ova/ovr)： 一对多
• Error Correcting Output codes(纠错码机制)：多对多

2.3 ovo

原理：将K个类别中的两两类别数据进行组合，然后使用组合后的数据训练出来一个模型，从而产生K(K-1)/2个分类器，将这些分类器的结果进行融合，并将分类器的预测结果使用多数投票的方式输出最终的预测结果值。