17、机器学习中的多分类、模型实现与特征选择

机器学习中的多分类、模型实现与特征选择

1. 多分类问题的逻辑回归处理

在分类问题中，逻辑回归算法在处理多分类问题时有着独特的方式。当类别超过两个时，逻辑回归也被称为多项式逻辑回归，更常见的叫法是softmax回归。

在二分类问题中，模型由一个权重向量 $\mathbf{w}$ 表示，目标为正类（标记为1）的概率可表示。而在 $K$ 类的情况下，模型由 $K$ 个权重向量 $\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_K$ 表示，目标属于第 $k$ 类的概率有特定的计算公式，并且有一个归一化项确保所有类别的概率总和为1。

为了更好地理解，我们使用手写数字数据集进行实验，步骤如下：

from sklearn import datasets
digits = datasets.load_digits()
n_samples = len(digits.images)
# 由于图像数据存储在8*8矩阵中，需要将其展平
X = digits.images.reshape((n_samples, -1))
Y = digits.target
# 划分数据
from sklearn.model_selection import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=42)
# 结合网格搜索和交叉验证来找到最优的多分类逻辑回归模型
from sklearn.model_selection import