27、多分类、排序与决策树学习全解析

多分类、排序与决策树学习全解析

1. 多分类学习的核心方法与应用

在现实世界中，许多监督学习问题都可以归结为学习一个多分类预测器。多分类学习的一个重要策略是将其简化为二分类学习。常见的简化方法包括“一对多”（One - versus - All）和“两两对比”（All - Pairs），这些方法在纠错输出码（Error Correction Output Codes，ECOC）的框架下得到了统一。

另外，线性预测器家族在多分类学习中也非常重要。即使类别数量极其庞大，只要问题具有适当的结构，这个家族的方法仍然可以发挥作用。例如，Crammer和Singer在2001年提出的多向量构造方法，为线性预测器在多分类学习中的应用提供了新的思路。

在排序问题方面，Chapelle、Le和Smola在2007年提出了基于结构化输出学习的思想来学习关于归一化折损累积增益（NDCG）损失的排序函数。他们还发现，广义铰链损失定义中的最大化问题等同于分配问题。

下面是求解方程（17.14）的具体步骤：

Solving Equation (17.14)
input:
(x1,...,xr),(y1,..., yr),w,V ,
assumptions:
 is a function of a, b, c, d
V contains all vectors for which f (a,b) = 1 for some function f
initialize:
P = |{i : yi = 1}|, N = |{i : yi = −1}|
µ = (⟨w,x1⟩,...,⟨w,xr⟩), α⋆=