45、多任务学习：原理、架构与应用

多任务学习：原理、架构与应用

1. 多任务学习基础

在多任务学习中，协方差矩阵的模式起着重要作用。设 $\Sigma_l^1$、$\Sigma_l^2$ 和 $\Sigma_l^3$ 为协方差矩阵的模式。在张量先验中，行协方差矩阵 $\Sigma_l^1 \in R^{D_l^1\times D_l^1}$ 学习特征之间的关系，列协方差矩阵 $\Sigma_l^2 \in R^{D_l^2\times D_l^2}$ 学习类别之间的关系，而协方差矩阵 $\Sigma_l^3 \in R^{T\times T}$ 学习第 $l$ 层参数 $W_l = [W_{1,l}; \cdots ; W_{T,l}]$ 中任务之间的关系。将经验误差与先验结合到最大后验（MAP）估计中，经过取负对数的过程，待优化的方程为：

$$
\min_{f_t| {t=1}^T, \Sigma_l^k| {k=1}^K} \sum_{t=1}^T \sum_{n=1}^{N_t} J(f_t(x_t^n), y_t^n) + \frac{1}{2} \sum_{l\in L} \left{ \text{vec}(W_l)^T(\Sigma_l^{1:K})^{-1}\text{vec}(W_l) - \sum_{k=1}^K \frac{D_l}{D_l^k} \ln(|\Sigma_l^k|) \right}
$$

其中 $D_l = \prod_{k=1}^K D_l^k$，$K = 3$ 是参数张量 $W$ 的模式数量（对于卷积层 $K = 4$），$\Sigma_l^{1:3} = \Sigma_l^1 \otimes \Sigma_l^2 \otimes