6、序数回归的大间隔排名边界

序数回归的大间隔排名边界

1. 引言

在机器学习中，分类和度量回归是常见任务。而序数回归，即预测具有序数尺度变量的问题，在社会科学和信息检索等领域频繁出现，因为这些领域中人类偏好起着重要作用。

传统的分类学习中，当输出空间 $Y$ 是有限无序集时，使用 0 - 1 损失函数；回归估计中，当 $Y$ 是度量空间（如实数集）时，损失函数会考虑完整的度量结构。而序数回归的输出空间 $Y$ 是有限集且元素间存在顺序，但它是非度量空间。这导致难以定义合适的损失函数，简单的 0 - 1 损失无法反映 $Y$ 中的顺序。

为解决此问题，我们考虑通过每个映射 $f: X \to Y$ 在输入空间 $X$ 上诱导的顺序来利用 $Y$ 元素的序数性质。我们的损失函数 $c_{pref}(x_1, x_2, y_1, y_2, f(x_1), f(x_2))$ 作用于真实排名对 $(y_1, y_2)$ 和预测排名对 $(f(x_1), f(x_2))$，从而实现了序数回归的分布独立理论，并为风险泛函提供了一致边界。

序数回归问题在许多领域都有应用，如信息检索、计量经济模型和经典统计学等。我们建议将排名建模为实数线上的区间，找到一个潜在的效用函数，将对象映射到标量值，这一学习任务也称为偏好关系学习。

2. 经典的序数回归模型

经典的序数回归采用累积或阈值模型。假设结果空间 $Y = {r_1, \ldots, r_q}$ ，其中排名有序，$P(y = r_i|x)$ 是多项分布。

随机排序假设：对于不同的 $x_1$ 和 $x_2$，要么对于所有 $r_i \in Y$ ，有 $Pr(y \leq r_i|x_1) \