26、多分类与排序：原理、损失函数及线性预测器

多分类与排序：原理、损失函数及线性预测器

1. 多分类与排序中的损失函数

1.1 Kendall - Tau 损失

Kendall - Tau 损失用于计算两个排列中顺序不同的元素对 (i, j) 的数量。其计算公式如下：
[
\ell(y’,y) = \frac{2}{r(r - 1)}\sum_{i = 1}^{r - 1}\sum_{j = i + 1}^{r} \mathbb{1}[\text{sign}(y’_i - y’_j) \neq \text{sign}(y_i - y_j)]
]
该损失函数比 0 - 1 损失更有用，因为它反映了两个排序之间的相似程度。

1.2 归一化折损累积增益（NDCG）

NDCG 衡量指标通过使用单调非递减的折扣函数 (D: \mathbb{N} \to \mathbb{R}^+) 强调列表顶部的正确性。首先定义折损累积增益 (G(y’,y)) ：
[
G(y’,y) = \sum_{i = 1}^{r} D(\pi(y’) i) y_i
]
若将 (y_i) 解释为项目 (i) 的“真实相关性”得分，则 (G(y’,y)) 是元素相关性的加权和，其中 (y_i) 的权重由 (i) 在 (\pi(y’)) 中的位置决定。假设 (y) 的所有元素是非负的，则 (0 \leq G(y’,y) \leq G(y, y)) 。因此，归一化折损累积增益定义为 (G(y’, y)/G(y, y)) ，相应的损失函数为：
[
\ell(y’,y) = 1 - \frac{G(y’,y)}{G(y,y)} = \fr