20、机器学习中的模型评估、改进与算法链应用

机器学习中的模型评估、改进与算法链应用

1. 多分类评估指标

在机器学习中，对于高AUC的模型，调整决策阈值可能是获得有用分类结果的必要步骤。接下来，我们将深入探讨多分类任务的评估指标。

1.1 多分类准确率

多分类准确率的定义与二分类类似，即正确分类的样本占总样本的比例。然而，当类别不平衡时，准确率并不是一个理想的评估指标。例如，在一个三分类问题中，85%的样本属于类别A，10%属于类别B，5%属于类别C。此时，准确率达到85%并不能很好地反映模型的性能。

1.2 混淆矩阵和分类报告

除了准确率，混淆矩阵和分类报告也是常用的评估工具。下面我们以手写数字数据集为例，展示如何使用这两种方法进行详细评估。

from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
import mglearn
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits

digits = load_digits()
X_train, X_test, y_train, y_test = train_test_split(
    digits.data, digits.