【算法解析1/5】分类任务深度拆解：常用算法、评估指标、混淆矩阵与实战思考 | 准确率、精确率、召回率、F1分数、ROC-AUC？ | TP、FP、FN、TN？| 支持向量机、朴素贝叶斯、神经网络？

最新推荐文章于 2025-07-02 15:26:57 发布

原创最新推荐文章于 2025-07-02 15:26:57 发布 · 1.4k 阅读

CC 4.0 BY-SA版权

文章标签：

注：本系列将有五部分，分别对应五大机器学习任务类型，包括：
1. 分类（Classification）、2. 回归（Regression）、3. 聚类（Clustering）、4. 降维（Dimensionality Reduction）以及 5. 强化学习（Reinforcement Learning）
此文含大量干货，建议收藏方便以后再读！

大家好，我是爱酱。继上一篇五大机器学习任务类型概览，以及之前探讨如何为不同任务选择合适的机器学习算法后，今天我们深入第一大类任务——分类任务（Classification）的完整介绍、其核心应用及算法分析。分类问题是机器学习领域最常见、应用最广的任务之一，无论是垃圾邮件识别、疾病诊断、图片识别，还是金融风控、客户分群，分类模型都扮演着核心角色。本篇将系统梳理分类任务的常用评估指标、主流算法、实际应用场景及实战建议，帮助你建立清晰的知识体系。

注：本文章颇长近4500字，建议先收藏再慢慢观看。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！

一、什么是分类任务？

分类任务的目标是将输入数据分配到预定义的类别中。最基础的有两类（如垃圾邮件/正常邮件），也可以有多类（如手写数字识别0-9）。分类任务属于监督学习（Supervised Learning），即训练数据带有明确的标签。

二分类（Binary Classification）：只有两个类别（如肿瘤良性/恶性）。
多分类（Multi-class Classification）：类别数大于两类（如识别动物是猫、狗、鸟还是大象）。
多标签分类（Multi-label Classification）：每个样本可属于多个类别（如一张图片同时有“山”和“水”标签）。
不平衡分类（Imbalanced Classification）：某些类别样本远多于其他类别（如诈骗识别）。

二、分类任务的主流评估指标

在机器学习分类任务中，科学选择和理解评估指标至关重要。下面详细介绍常用的分类评估指标及其算法公式，帮助你在实际项目中更好地分析和优化模型表现。

1. 混淆矩阵（Confusion Matrix）

混淆矩阵是分类模型评估的最基础工具，因为很多指标都是以其衍生出来的。
混淆矩阵包括四个核心元素：

TP（True Positive）：实际为正例，预测也为正例（真阳性）
TN（True Negative）：实际为负例，预测也为负例（真阴性）
FP（False Positive）：实际为负例，预测为正例（假阳性）
FN（False Negative）：实际为正例，预测为负例（假阴性）

实际为正例实际为负例
预测为正例 TP FP
预测为负例 FN TN
这里也附上在以前的文章里概括过的图片例子：猫猫vs狗狗（猫猫是预设目标，即阳性）

当大伙釐清此概念后，就可以开始看接下来演化混淆矩阵而生的其他指标了。

	实际为正例	实际为负例
预测为正例	TP	FP
预测为负例	FN	TN

2. 准确率（Accuracy）

定义：模型预测正确的样本占总样本数的比例。

算法公式：

$Accuracy= \frac{TP+TN}{ TP+TN+FP+FN}$

适用场景：类别分布均衡时，准确率是直观且常用的指标。

3. 精确率（Precision）

定义：被模型预测为正例的样本中，实际为正例的比例。

算法公式：

$Precision = \frac{TP}{ TP+FP}$

适用场景：关注“假阳性”成本高的任务，如垃圾邮件识别、金融风控。

4. 召回率（Recall）

定义：实际为正例的样本中，被模型正确预测为正例的比例。

算法公式：

$Recall = \frac{TP}{ TP+FN}$

适用场景：关注“假阴性”成本高的任务，如疾病筛查、风险预警。

5. F1分数（F1 Score）

定义：精确率和召回率的调和平均数，兼顾二者。

算法公式：

$F1\; Score = 2 \times \frac{Precision\, \times \,Recall}{ Precision \,+ \,Recall}$

适用场景：类别不平衡、正负样本都重要时，F1分数更能反映模型综合表现。

6. ROC曲线与AUC（ROC Curve & AUC）

ROC曲线：以真正率（TPR, Recall）为纵轴，假正率（FPR）为横轴，绘制不同阈值下的模型表现。
AUC（Area Under Curve）：ROC曲线下的面积，范围0~1，越接近1越好。

相关算法：

$TRP = \frac{TP}{ TP+FN}$
$FPR = \frac{FP}{ FP+TN}$

适用场景：需要全面比较模型排序能力，尤其适合类别不平衡数据集。

7. Log Loss（对概率预测模型）

定义：衡量模型输出概率与真实标签的偏离程度，越小越好。

算法公式（以二分类为例）：

$Log\,Loss = -\frac{1}{N}\sum_{i=1}^{N}[y_{i}\,log(p_{i})+(1-y_{i})log(1-p_{i})]$

其中， $y_{i}$ 为真实标签， $p_{i}$ 为预测概率。

适用场景：需要概率输出的模型，如风险评估、信用评分。

8. 多分类任务的平均指标

对于多分类任务，Precision、Recall、F1等指标可以通过多种方式平均：

宏平均（Macro Average）：对每个类别分别计算指标，再取平均。
微平均（Micro Average）：将所有类别的TP、FP、FN加总后再计算指标。
加权平均（Weighted Average）：每个类别的指标按样本数加权平均。

9. Cohen’s Kappa

定义：衡量模型与真实标签一致性的指标，考虑随机猜测的影响。

算法公式：

$\kappa = \frac{p_{o}-p_{e}}{1-p_{e}}$

其中， $p_{o}$ 为实际一致性， $p_{e}$ 为随机一致性概率。

适用场景：多分类或评估多模型一致性。

三、主流分类算法及其工作原理与适用场景

1. 逻辑回归（Logistic Regression）

原理简介：
逻辑回归是一种用于二分类（或多分类扩展）的概率型模型。它通过对输入特征加权求和后，使用Sigmoid函数将结果映射为0~1之间的概率值。最终通过设定阈值（如0.5）将概率转换为类别标签。模型本质是学习特征与类别之间的关系，决策边界为一条超平面。

适用场景：
医疗诊断、金融风控、广告点击预测等需要概率输出的二分类问题。

2. 决策树（Decision Tree）

原理简介：
决策树通过递归地选择最优特征，将数据集分割为若干子集，每个分支代表一次决策，最终在叶节点给出分类结果。树的每个节点对应一个特征判断，分支对应不同取值，最终形成“从根到叶”的决策路径。

适用场景：
客户流失预测、信用评分、特征解释性强的业务。

3. 随机森林（Random Forest）

原理简介：
随机森林是集成学习方法，通过构建多个决策树并对结果进行投票（分类）或平均（回归）。每棵树在训练时都会随机选取特征和样本，降低单棵树的过拟合风险，提升整体模型的泛化能力。

适用场景：
高维数据、特征多样、对准确率要求高的场景，如金融反欺诈、文本分类。

4. 支持向量机（SVM, Support Vector Machine）

原理简介：
先搞清楚，这里Support的意思不是我们平常说的支持，而是支撑。SVM通过寻找一个最优超平面（Optimal Hyperplane），将不同类别的数据点分隔开。最优超平面是指到两类样本中最近点：支持向量（Support Vector）距离最大的分割线，而两点亦可以产出两条决策边界（Decision Boundary）。至于斜率（Gradient），也是根据同一定律，即保持两条决策边界至超平面的距离为最大。对于非线性可分问题，可通过核函数将数据映射到高维空间实现线性分割。

适用场景：
文本分类、图像识别、小样本高维特征场景。

5. K近邻（KNN, K-Nearest Neighbors）

原理简介：
KNN是一种基于实例的学习方法。对于新样本，计算其与训练集中所有样本的距离，选取距离最近的K个邻居，根据邻居的类别多数投票决定新样本的类别。K值和距离度量方式对性能影响较大。

适用场景：
手写数字识别、推荐系统、小数据量场景。

6. 朴素贝叶斯（Naive Bayes）

原理简介：
朴素贝叶斯基于贝叶斯定理（Bayes Theorem），假设特征之间相互独立。模型计算每个类别在已知特征下的概率，选择概率最大的类别作为预测结果。由于假设简单，计算高效，适合高维稀疏数据。以免伙伴们不知道贝叶斯定理，下面我将详细举例讲述。

贝叶斯定理：

P(A) 是 A 发生的概率；
P(B) 是 B 发生的概率；
P(A|B) 是在 B 发生的情况下 A 发生的概率；
P(B|A) 是在 A 发生的情况下 B 发生的概率。