Multitask Learning Over Graphs 阅读笔记

引言

\quad 多任务学习是一种诱导迁移学习的方法,通过使用相关任务的训练信号中包含的信息来辅助另一个问题。在假设所有数据都可以事先获得的情况下,这个问题已有了一些比较完善的策略。
\quad 但是近年来,数据在越来越多的场景下是以分布式或者流式的结构出现的,这就需要新的方法。本文介绍了在网络上学习和适应的多任务学习策略,各个智能体被允许相互合作来学习不同相关的任务。
\quad 考虑一个由$n$个独立的智能体构成的网络,智能体$k$的邻域为$N_k$。每个智能体都有一个凸性的、可微分的实数值代价$J_k(w_k)$,而智能体$k$处的目标就是估计参数$w_k^o$,使得$J_k(w_k)$最小。文章首先描述了一类能够实时响应流式数据的非协作方案,然后解释了如何扩展这些方案来处理图上的MTL。

流数据下的非合作学习

\quad 为解决流式数据下随机性的问题,数据的分布通常是未知的,即参数$w$的梯度未知,需要使用近似梯度$\widehat{\nabla w_k{J}_k(\cdot )}$。求解所需要的随机梯度下降法为：
$$w_{k,i}=w_{k,i-1}-\mu \widehat{\nabla w_k{J}_k(w_{k,i-1})}$$
\quad 以均方误差（MSE）网络为例，每个智能体接收流式数据$d_k(i),u_{k,i}$，满足线性关系
$$d_k(i)=u_{k,i}^{\top }{w}_k^o+v_k(i)$$
风险函数采用MSE代价的形式：
$$J_k(w_k)=\frac{1}{2}E(d_k(i)-u_{k,i}^{\top }{w}_k{)}^2$$
\quad 代入随机梯度下降法就得到了著名的最小均方算法：
$$w_{k,i}=w_{k,i-1}+\mu u_{k,i}(d_k(i)-u_{k,i}^{\top }{w}_{k,i-1})$$
\quad 使用近似梯度而不是真正的梯度给系统带来了一定的扰动，称之为梯度噪声:
$$s_{k,i}(w_k)=w_k{J}_k(w_k)-\widehat{w_k{J}_k(w_k)}$$
\quad 在评估这些波动的大小时，通常测量稳态均方差MSD,期望各个智能体之间互相合作能够帮助提高系统性能：
$$MSD=\underset{i\to \infty }{\lim }\frac{1}{N}\sum _{k=1}^{N}E{\parallel w_k^o-w_{k,i}\parallel }^2$$

多任务学习框架

\quad 引入一个通用问题，设网络的参数向量矩阵为$W=col[w_1，\cdot \cdot \cdot ，w_n]$，考虑多任务的全局优化问题：
$$W^{\ast }=arg\underset{W}{\min }{J}^{glob}(W)=\sum _{k=1}^N{J}_k(w_k)+\frac{\eta }{2}R(W),W\in \Omega$$
\quad 其中$R$是促进任务间关系的正则化函数，$\Omega$是定义参数可行域的凸集，$\eta$是正则化权重参数。针对如何使用上式，作从美国天气预报和电力系统状态监控两个方面进行了举例分析。
\quad 在MTL中，正则化被广泛用于促进任务关系。在大多数网络应用程序中，底层图结构包含邻近任务之间的相关性信息。$W$在图上的平滑性以拉普拉斯矩阵的二次形式度量：
$$S(W)=W^{\top }\mathcal{L}W=\frac{1}{2}\sum _{k=1}^N\sum _{l\in N_k}{c}_{kl}{\parallel w_k-w_l\parallel }^2$$
\quad 在优化问题中可以选择$R(W)=S(W)$，在此选择下$W_i={\psi }_i-\mu \eta \mathcal{L}W(i-1)$。通过增加正则化强度，方差项可能减小，而偏差项可能增大，理解这种偏差-方差的折中对理解正则化多任务算法十分重要。
\quad 在图谱正则化中通常有替换:
$$r(\mathcal{L})=\sum _{m=1}^{N}r({\lambda }_m)v_m{v}_m^{\top }$$
\quad 作者从图谱滤波的角度举例作出了分析，网络上的MTL允许将实时自适应与图形/空间滤波相结合。此外，作者还对子空间约束下的多任务学习进行了讨论。