16、多分类、排序与复杂预测问题解析

多分类、排序与复杂预测问题解析

1. 多分类预测问题概述

多分类预测问题旨在将实例分类到多个可能的目标类别之一，即学习一个预测器 (h : X \to Y)，其中 (Y) 是有限的类别集合。例如，根据主题对文档进行分类，或者确定给定图像中出现的对象。

2. 多分类问题的简化方法

• 一对多（One - versus - All）方法
  • 训练 (k) 个二分类器，每个分类器区分一个类别与其余类别。
  • 给定训练集 (S = (x_1, y_1), \ldots, (x_m, y_m))，构建 (k) 个二分类训练集 (S_1, \ldots, S_k)，其中 (S_i) 中实例标签为 1 表示其在 (S) 中的标签为 (i)，否则为 -1。
  • 为每个 (i \in [k]) 基于 (S_i) 训练二分类预测器 (h_i : X \to {±1})。
  • 构建多分类预测器 (h(x) \in \arg\max_{i\in [k]} h_i(x))。
  • 伪代码如下：

One - versus - All
input:
    training set S = (x1, y1), ..., (xm, ym)
    algorithm for binary classification A
foreach i ∈ Y
    let Si = (x1, (-1)1[y1!=i]),