8、判别式线性分类器深度解析

判别式线性分类器深度解析

在文本分类领域，判别式线性模型发挥着重要作用。此前我们已经了解了支持向量机（SVMs）和感知机模型这两种判别式线性模型，它们通过得分函数对输入 - 输出对进行评分。与生成式模型（如朴素贝叶斯模型）相比，判别式模型在特征定义上更具灵活性，并且以直接最小化预测误差为训练目标，因此可能具有更高的准确性。不过，感知机和 SVM 的得分缺乏直接的解释性，而朴素贝叶斯模型的得分代表了生成输入 - 输出对的联合概率，具有一定的信息价值。

1. 对数线性模型

对数线性模型是一种判别式线性模型，它能够为输出提供具有概率解释性的得分。其灵感来源于对朴素贝叶斯分类器的观察，下面我们详细介绍其在不同分类场景下的应用及训练方法。

1.1 多类分类的对数线性模型

受特定公式的启发，我们构建了对数线性概率判别模型。通过使某个概率与另一个概率成比例，使得该概率的对数成为一个线性模型。同时，通过对所有可能输出的集合进行归一化，我们可以推导出对数线性模型的概率公式：
[P(y|x) = \frac{\exp(\mathbf{w}^T\mathbf{f}(x,y))}{\sum_{c \in C} \exp(\mathbf{w}^T\mathbf{f}(x,c))}]
其中，(C) 表示所有可能输出的集合。这个公式也可以用 softmax 函数来描述，softmax 是一个将输入映射到概率分布的指数函数。

1.2 二分类的对数线性模型

对于二分类问题，对数线性模型有特定的形式。我们使用 sigmoid 函数，它将一个实数映射到 ((0, 1)) 区间：
[\sigma(z) = \frac{1}