24、线性多类预测器与结构化输出预测

线性多类预测器与结构化输出预测

1. 线性多类预测器概述

在多类分类问题中，降维方法存在一定不足，因此我们采用更直接的方法来学习多类预测器，即线性多类预测器。

对于二分类问题，线性预测器（半空间）的形式为 $h(x) = sign(\langle w,x\rangle)$，也可等价表示为 $h(x) = \arg\max_{y\in{\pm1}} \langle w, yx\rangle$。将其推广到多类问题，引入类敏感特征映射 $\psi : X \times Y \to R^d$，基于此和向量 $w \in R^d$，可定义多类预测器 $h : X \to Y$ 为 $h(x) = \arg\max_{y\in Y} \langle w,\psi(x, y)\rangle$。

设 $W$ 是 $R^d$ 中的向量集合，例如 $W = {w \in R^d : |w| \leq B}$（$B > 0$），每对 $(\psi,W)$ 定义了一个多类预测器的假设类：$H_{\psi,W} = {x \to \arg\max_{y\in Y} \langle w,\psi(x, y)\rangle : w \in W}$。

2. 特征映射 $\psi$ 的构造方法

设计好的 $\psi$ 类似于设计好的特征映射，以下是两种有用的构造示例：
- 多向量构造 ：
设 $Y = {1,\cdots,k}$，$X = R^n$，定义 $\psi : X \times Y \to R^{nk}$ 为：
$\psi(x, y) = [ 0,\cdots,0 \quad_{(y -