11、多任务多样本学习：原理、实验与展望

多任务多样本学习：原理、实验与展望

1. 多任务多样本学习概述

多任务学习与多样本学习（MSL）被整合到一个联合公式中。该方法基于正则化多任务学习方法，通过最小化分类器向量差异的平方 l2 范数来鼓励任务间的共享。

1.1 多类分类设置

在多类分类中，每个样本属于一个单一类别，目标是将测试样本分类到现有类别之一。与 MSL 不同，多任务多样本学习（MTMSL）有多个共享向量 $u_t$，每个类别一个。同时，所有 $u_t$ 还通过另一个共享向量 $v$ 进行正则化，以鼓励 $u_t$ 之间的共享。MTMSL 用于多类分类问题的公式为：
$$
\min_{v,u,w} \gamma||v||^2 + \lambda \sum_{t} ||u_t - v||^2 + \beta \sum_{i} ||w_i - u_{c(i)}||^2 + \sum_{t} \sum_{i|y_t^i=1} L_e(w_i; X, Y^t)
$$
其中，$w_i$ 是样本特定分类器，$T$ 是类别数量，$c(i)$ 是第 $i$ 个训练样本的类别索引，$y_t^j$ 是第 $j$ 个样本对于类别 $t$ 的二进制标签，$Y^t$ 是类别 $t$ 的二进制标签集合。

超参数 $\gamma$、$\lambda$ 和 $\beta$ 决定了公式的行为：
- 当 $\gamma \to \infty$ 时，$v$ 被强制为零向量，公式等价于 $T$ 个独立的 MSL 公式，即类别间无共享。
- 当 $\beta \to \infty$ 时，每个 $w_i$ 被强制等于其类别级共享向量 $u_{c(i)}$，公式收敛到多任务学习目标。