13、逻辑回归与支持向量机：原理、应用与实践

逻辑回归与支持向量机：原理、应用与实践

逻辑回归基础

逻辑回归模型与其他线性模型一样，可以使用 ℓ1 或 ℓ2 惩罚项进行正则化。在 Scikit - Learn 中，默认添加 ℓ2 惩罚项。控制 Scikit - Learn 的 LogisticRegression 模型正则化强度的超参数不是像其他线性模型中的 alpha，而是其倒数 C。C 值越高，模型的正则化程度越低。

Softmax 回归

逻辑回归模型可以直接扩展以支持多类别分类，无需训练和组合多个二元分类器，这就是 Softmax 回归，也称为多项式逻辑回归。
- 原理 ：给定一个实例 x，Softmax 回归模型首先为每个类别 k 计算一个分数 sk(x)，然后通过对这些分数应用 softmax 函数（也称为归一化指数）来估计每个类别的概率。
- 分数计算 ：sk(x) = xTθk，每个类别都有自己的专用参数向量 θ(k)，这些向量通常作为行存储在参数矩阵 Θ 中。
- 概率计算 ：通过 softmax 函数计算实例属于类别 k 的概率 pk，公式如下：
[p_k = \sigma(s(x)) k = \frac{\exp(s_k(x))}{\sum {j = 1}^{K} \exp(s_j(x))}]
其中，K 是类别的数量，s(x) 是包含实例 x 每个类别的分数的向量，σ(s(x))k 是给定实例 x 每个类别的分数时，实例 x 属于类别 k 的估计概率。
- 预测 ：Sof