百度Ernie 3.0 学习笔记——预备知识

---

前言

预备知识，自编码与自回归模型、multi-task多任务学习、transformer-xl、ernie-doc中的记忆循环机制等。

---

一、自编码 & 自回归

自编码模型：包含编码块和解码块，通过上下文去预测文本，更适合于文本理解和翻译；
自回归模型：根据前序token生成当前token、适合于文本生成。

二、multi-task多任务学习

假设n个任务，彼此相关但不完全相同，则可以通过多任务学习，使得n个任务共享底层网络（通用模块），然后在输出层针对不同任务配置不同参数层（任务特定模块）。

比如：某个 Aim 包含多个相关的结果指标，即在训练过程中不仅专注于解决提高 / 降低 / 拟合某个结果指标的值，需要同时考虑这些结果指标的表现，我们就需要使用到该框架。

易混淆概念：

• multi-class 多分类：一个任务有多个解；
• multi-label 多标签：一个任务、一个解是组合值；
• transfer learning 迁移学习：基于任务 x 训练得到的模型，在相关任务 y 上进行微调、专供任务 y 使用，不考虑灾难性遗忘问题。

multi-task 优点：