85、机器学习中的排序学习与利用特权信息学习

pluto

墨衍会员 · AI 创作全网分发码龄25年

关注

原创最新推荐文章于 2026-09-15 10:03:16 发布 81 阅读 AI 写同款· GEO 优化 ›

机器学习与数据挖掘精解专栏收录该内容

¥69.90 ¥499.90

100篇文章

订阅专栏

超级会员免费看

机器学习中的排序学习与利用特权信息学习

在信息检索、自然语言处理和数据挖掘等领域，许多任务本质上都是排序问题，如文档检索、专家搜索、问答系统等。排序学习作为机器学习的一个子领域，专注于从数据中自动构建排序模型的方法和理论。同时，利用特权信息学习（LUPI）也是一种重要的机器学习方法，它借助额外的训练信息来提升模型性能。

排序学习

排序学习通常被形式化为有监督学习任务，也可以采用无监督或半监督学习的形式。在训练阶段，学习系统从给定的训练数据中学习排序模型；在测试阶段，排序系统根据查询使用排序模型为文档打分，并根据分数对文档进行排序。

问题表述

训练数据 ：由查询和文档组成，每个查询关联多个文档，文档与查询的相关性用标签表示，标签代表不同的等级。
特征向量 ：从查询 - 文档对中创建特征向量，例如 BM25 和 PageRank 就是典型的特征。
排序模型 ：目标是训练一个局部或全局的排序模型，为查询 - 文档对或特征向量分配分数。
测试数据 ：包含新的查询和关联文档，使用训练好的模型为文档打分并排序。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(训练数据):::process --> B(学习系统):::process
    B --> C(排序模型):::process
    D(测试查询):::process --> E(排序系统):::process
    C --> E
    E --> F(文档排序结果):::process

评估指标

常用的评估指标包括 DCG（折扣累积增益）和 NDCG（归一化折扣累积增益）。
- DCG ：衡量排序列表与标签的匹配程度，计算公式为：
[DCG(k) = \sum_{j:\pi_i(j)\leq k} \frac{2^{y_{i,j}} - 1}{\log_2(1 + \pi_i(j))}]
其中，(y_{i,j}) 是文档 (d_{i,j}) 的标签，(\pi_i(j)) 是文档 (d_{i,j}) 在排序列表中的位置。
- NDCG ：是 DCG 的归一化形式，计算公式为：
[NDCG(k) = G^{-1} {max,i}(k)DCG(k)]
其中，(G {max,i}(k)) 是归一化因子，使得完美排序的 NDCG 分数为 1。

学习的目标函数

排序学习的目标是最小化经验风险函数，通常使用损失函数来评估预测结果。由于损失函数的性质，直接最小化可能很困难，可以考虑使用替代损失函数。根据替代损失函数的定义方式，排序学习方法可分为逐点、逐对和逐列表三种方法。

排序学习方法

Ranking SVM 和 IR SVM ：
- Ranking SVM ：将不同等级的对象对作为新对象，学习一个 SVM 分类器来对对象对的顺序进行分类，然后根据分类结果对新对象进行排序。
- IR SVM ：是 Ranking SVM 在信息检索领域的扩展，通过修改 0 - 1 损失函数来缩小损失函数与信息检索评估指标之间的差距。
AdaRank ：采用逐列表的方法，通过最小化评估指标的上界来优化排序模型。它模仿 AdaBoost 算法，逐步最小化上界，并将弱排序器线性组合成最终的排序模型。
LambdaRank 和 LambdaMART ：通过直接定义和利用风险函数的梯度函数来解决目标函数不可微的问题。
- LambdaRank ：不明确定义损失函数，而是定义替代损失函数的梯度函数，使用神经网络作为排序模型。
- LambdaMART ：遵循 LambdaRank 的思想，使用树集成作为排序模型，并在梯度树提升算法中直接使用 lambda 函数作为梯度函数。

方法	特点
Ranking SVM	基于逐对分类，可转化为排序模型
IR SVM	扩展 Ranking SVM，适用于信息检索
AdaRank	逐列表方法，简单有效
LambdaRank	定义梯度函数，使用神经网络
LambdaMART	树集成模型，性能优异

应用

排序学习已成功应用于多个领域，包括文档检索、专家搜索、定义搜索、个性化搜索、在线广告、协同过滤、问答系统、关键词提取、文档摘要和机器翻译等。在文档检索中，排序学习已成为一种基本技术。

利用特权信息学习（LUPI）

当应用机器学习技术解决实际问题时，先验知识可以丰富学习系统。LUPI 是一种利用额外训练信息的方法，这些信息仅在训练阶段可用，称为特权信息。

理论与解决方案

在监督二元分类任务中，假设给定一组训练示例，包括特征向量 (X)、标签 (Y) 和额外的特权信息 (X’)。SVMC 方法是一种解决 LUPI 问题的方法，它是支持向量机（SVM）的扩展。

SVMC 优化问题的形式如下：
[
\begin{align }
&\min_{w\in\mathbb{R}^d, b\in\mathbb{R}, w’\in\mathbb{R}^{d’}, b’\in\mathbb{R}} \frac{1}{2}(||w||^2 + \beta||w’||^2) + C\sum_{i = 1}^{N} [\langle w’, x’_i \rangle + b’]\
&\text{s.t. } y_i[\langle w, x_i \rangle + b] \geq 1 - [\langle w’, x’_i \rangle + b’] \quad \forall i = 1, \ldots, N\
&[\langle w’, x’_i \rangle + b’] \geq 0 \quad \forall i = 1, \ldots, N
\end{align }
]
其中，(w) 和 (b) 是常规 SVM 的权重和偏置，(w’) 和 (b’) 是用于参数化松弛变量的权重和偏置。

SVMC 优化问题可以通过标准的二次规划（QP）求解器在对偶表示中求解。对于中等规模的问题，可能需要开发专门的算法。

动机

软间隔 SVM 的学习率为 (O(\frac{1}{\sqrt{N}}))，而硬间隔 SVM 的学习率为 (O(\frac{1}{N}))。SVMC 的思想是利用特权信息估计松弛函数，将软间隔 SVM 转化为硬间隔 SVM。

与现有学习设置的关系

除了 LUPI 框架，还有其他利用多源信息学习分类模型的方法，如领域适应、多视图学习和多模态学习。

学习设置	定义	训练域	测试域	示例
LUPI	利用仅在训练时可用的额外信息学习	(X, X’)	(X)	(X)：图像，(X’)：边界框
领域适应	学习将分类器从训练域适应到测试域	(X)	(X’)	(X)：亚马逊图像，(X’)：网络摄像头图像
多视图/多模态	从多个特征表示（多个域）学习	(X, X’)	(X, X’)	(X)：图像，(X’)：图像标签

应用

LUPI 框架在实际应用中具有重要意义，例如在蛋白质分类中利用蛋白质三级结构作为额外信息，在图像识别中利用图像标签作为特权信息。在医疗领域，先进的医学测试结果也可以作为额外知识来辅助诊断。

当前和未来方向

LUPI 是一个活跃的研究领域，涉及算法和理论方面的研究，以及将基于 SVM 的 LUPI 方法应用到其他学习设置中，如排序学习、聚类、度量学习和结构化预测等。

排序学习和利用特权信息学习是机器学习中重要的方法，它们在不同的领域都有广泛的应用和研究价值。通过不断探索和改进这些方法，可以提高机器学习模型的性能和适应性。

机器学习中的排序学习与利用特权信息学习

排序学习与利用特权信息学习的综合分析

排序学习和利用特权信息学习虽然是不同的机器学习方法，但在实际应用中可以相互结合，发挥更大的作用。

结合思路

排序学习主要关注如何对对象进行排序，而利用特权信息学习则侧重于利用额外的训练信息来提升模型性能。可以考虑在排序学习中引入特权信息，以提高排序模型的准确性和有效性。

例如，在文档检索中，可以将文档的一些额外信息（如文档的来源、作者的专业领域等）作为特权信息，在训练排序模型时加以利用。这样可以使排序模型更好地理解文档的相关性，从而提高检索结果的质量。

实现步骤

数据准备 ：收集包含主要数据和特权信息的训练数据集。例如，在图像检索中，主要数据是图像的特征向量，特权信息可以是图像的标签文本。
特征提取 ：从主要数据和特权信息中提取相关的特征。对于图像数据，可以使用卷积神经网络提取图像特征；对于文本信息，可以使用词嵌入技术提取文本特征。
模型训练 ：结合排序学习和利用特权信息学习的方法进行模型训练。可以使用 SVMC 方法将特权信息融入排序模型的训练中。
模型评估 ：使用评估指标（如 NDCG、MAP 等）对训练好的模型进行评估，根据评估结果调整模型参数。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(数据准备):::process --> B(特征提取):::process
    B --> C(模型训练):::process
    C --> D(模型评估):::process
    D --> C

排序学习和利用特权信息学习的挑战与解决方案

排序学习的挑战

目标函数优化困难 ：排序学习的目标函数通常不连续、不可微，且依赖于排序操作，这使得直接使用梯度下降等优化方法变得困难。
- 解决方案 ：如 LambdaRank 和 LambdaMART 方法，通过直接定义和利用风险函数的梯度函数来解决目标函数不可微的问题。
数据分布不均 ：在实际应用中，不同等级的对象数量可能存在较大差异，导致模型对某些等级的对象学习效果不佳。
- 解决方案 ：可以采用重采样的方法，对数量较少的等级进行过采样，对数量较多的等级进行欠采样，以平衡数据分布。

利用特权信息学习的挑战

特权信息获取困难 ：特权信息通常需要额外的资源和专业知识来获取，且在测试阶段不可用，这限制了其应用范围。
- 解决方案 ：可以探索如何从现有数据中挖掘潜在的特权信息，或者与领域专家合作，获取更多的特权信息。
模型复杂度增加 ：引入特权信息会增加模型的复杂度，可能导致过拟合问题。
- 解决方案 ：可以采用正则化方法，如 L1 和 L2 正则化，来控制模型的复杂度，避免过拟合。

实际应用案例分析

文档检索

在文档检索中，排序学习和利用特权信息学习都有广泛的应用。例如，搜索引擎公司可以利用排序学习方法对搜索结果进行排序，同时利用文档的元数据（如文档的发布时间、作者的影响力等）作为特权信息，提高搜索结果的质量。

具体操作步骤如下：
1. 数据收集 ：收集大量的文档数据和用户查询数据，同时获取文档的元数据作为特权信息。
2. 特征工程 ：从文档和查询中提取相关的特征，如关键词频率、文档长度等，同时将元数据转换为特征向量。
3. 模型训练 ：使用排序学习方法（如 LambdaMART）训练排序模型，并将特权信息融入模型训练中。
4. 模型部署 ：将训练好的模型部署到搜索引擎中，实时为用户提供排序后的搜索结果。

图像识别

在图像识别中，利用特权信息学习可以提高识别的准确性。例如，在识别动物图像时，可以将动物的物理属性（如毛色、体型等）作为特权信息，帮助模型更好地识别动物。

具体操作步骤如下：
1. 数据准备 ：收集大量的动物图像数据，并标注图像中动物的类别和物理属性。
2. 特征提取 ：使用卷积神经网络提取图像的特征，同时将物理属性转换为特征向量。
3. 模型训练 ：使用 SVMC 方法训练分类模型，将特权信息融入模型训练中。
4. 模型评估 ：使用测试数据集对训练好的模型进行评估，根据评估结果调整模型参数。