39、用于有序回归的大间隔阈值集成模型

用于有序回归的大间隔阈值集成模型

1. 阈值集成模型介绍

阈值集成模型用于有序回归，它包含两个组成部分：阈值向量和置信函数集成。

阈值模型在有序回归中应用广泛，阈值可视为反映有序回归离散性质的估计尺度。有序回归规则$G_{H,\theta}$中，$H(x)$计算$x$的潜在值，$\theta$是一个$(K - 1)$维有序向量，包含阈值$\theta_1 \leq \theta_2 \leq \cdots \leq \theta_{K - 1}$。当$H$在上下文中明确时，记$G_{H,\theta}$为$G_{\theta}$。若令$\theta_0 = -\infty$和$\theta_K = \infty$，有序回归规则为：
$G_{\theta}(x) = \min {k: H(x) \leq \theta_k} = \max {k: H(x) > \theta_{k - 1}} = 1 + \sum_{k = 1}^{K - 1} \mathbb{I}{H(x) > \theta_k}$

在阈值集成模型中，通过置信函数集成来计算潜在值：
$H(x) = H_T(x) = \sum_{t = 1}^{T} \alpha_t h_t(x)$，其中$\alpha_t \in \mathbb{R}$

假设置信函数$h_t$来自假设集$\mathcal{H}$，输出范围为$[-1, 1]$。只输出$-1$或$1$的置信函数为二元分类器。每个置信函数反映了可能不完美的排序偏好，集成通过$\alpha$线性组合这些排序偏好，允许$\alpha_t$为任意实值，必要时可反转$h_t$的排序偏好。

集成模型通常成功用