10、多分类与特征设计全解析

多分类与特征设计全解析

1. 多分类基础

1.1 多分类目标函数与梯度计算

在多分类问题中，我们有目标函数：
[
g(\tilde{w} 1, \ldots, \tilde{w}_C) = \sum {c = 1}^{C} \sum_{p \in \mathcal{R} c} \log \left(1 + \sum {j = 1, j \neq c}^{C} e^{\tilde{x}_p^T (\tilde{w}_j - \tilde{w}_c)} \right)
]
这里使用了紧凑表示，(\tilde{w}_j = \begin{bmatrix} b_j \ w_j \end{bmatrix}) 且 (\tilde{x}_p = \begin{bmatrix} 1 \ x_p \end{bmatrix})，其中 (c = 1, \ldots, C) 且 (p = 1, \ldots, P)。

目标函数 (g) 关于 (\tilde{w} c) 的梯度可以计算为：
[
\nabla {\tilde{w} c} g = \sum {p = 1}^{P} \left( \frac{1}{1 + \sum_{j = 1, j \neq c}^{C} e^{\tilde{x} p^T (\tilde{w}_j - \tilde{w}_c)}} - \mathbb{1} {p \in \mathcal{R} c} \right) \tilde{x}_p
]
其中 (\mathbb{1} <