多任务基础知识学习

一、单任务与多任务的区别：

学习链接：https://zhuanlan.zhihu.com/p/27421983  多任务学习:单模型解决多个问题_什么是单任务模型-优快云博客

SingleTask: Train one model for each task, respectively

多任务学习(Multi-Task Leamning,MTL)是机器学习只领域一个重要的研究方向,它旨在利用同一个模型同时解决多个相关的任务。与传统的单任务学习(Simngle-Task Learning,STL)相比,MTL能够利用不同任务之间的相关性,从而提高整体学习效果,降低过拟合风,险,增强模型泛化能力。

单任务：STL(SingleTask Learning)   多任务：MTL(Multitask Learning)

单任务的限制：

1. 很多问题不能分解为一个一个独立的子问题
2. 把现实问题当做一个个独立的单任务处理，忽略了问题之间所富含的丰富的关联信息
3. 相关联的多任务学习比单任务学习能去的更好的泛化

单任务与多任务图示对比：

多任务定义及基础知识：

定义：基于共享表示（shared representation），把多个相关的任务放在一起学习的一种机器学习方法。【多任务学习是指利用同一个模型同时解决多个相关的任务,通过任务之间的共享表征和参数,实现知识的迁移和信息的交互,从而提高整体的学习效果。】

共享表示shared representation：目的是为了提高泛化（improving generalization）

• 基于参数的共享（Parameter based）：比如基于神经网络的MTL，高斯处理过程。
• 基于约束的共享（regularization based）：比如均值，联合特征（Joint feature）学习（创建一个常见的特征集合）。

优势：多任务学习与单任务学习相比，有哪些优势_多任务学习的优势-优快云博客

共享表征、信息交互、降低过拟合、参数高效利用、效率提升、加速学习、防止过拟合、实用性

多任务学习内容结构划分：

1. 多任务学习（Multitask learning）是迁移学习算法的一种。
2. 多标签/目标学习（Multilabel learning）是多任务学习中的一种，建模多个label之间的相关性，同时对多个label进行建模，多个类别之间共享相同的数据/特征。【我们现在的研究内容形式是属于这个小类吗】不同目标输入相同的feature进行联合训练，是迁移学习的一种。
3. 多类别学习（