常见大模型——chatlm系列

ChatGLM

背景

主流的预训练框架主要有三种：
1、AutoRegressive自回归模型（AR模型）：代表GPT。本质上是一个Left-to-Right的语言模型。通常用于生成式任务，在长文本生成方面取得了巨大的成功。当扩展到十亿级别参数时，变现出了少样本学习能力。缺点是单向注意力机制，在NLU任务中，无法完全捕捉上下文的依赖关系。
2、Autoencoding自编码模型（AE模型）：代表BERT。是通过某个降噪目标（比如MLM）训练的双向文本编码器。编码器会产生适用于NLU任务的上下文表示，但无法直接用于文本生成。
3、Encoder-Decoder（Seq2seq模型）：代表作T5。采用双向注意力机制，常用于条件生成任务，比如文本摘要、机器翻译等。

三种预训练框架各有利弊，没有一种框架在以下三种领域表现最佳：自然语言理解（NLU）、无条件生成以及条件生成。T5曾经尝试使用MTL的方式同意上述框架，然而自编码和自回归目标天然存在差异，简单的融合自然无法继承各个框架爱的优点。

GLM预训练框架

GLM特点：

• 自编码思想：在输入文本中，随机删除连续的tokens。
• 自回归细思：顺序重建连续tokens。在使用自回归方式预测缺失tokens时，模型既可以访问corrupted文本，又可以访问之前已经被预测的spans。
• span shuffing+二维位置编码技术
• 通过改变确实spans的数量和长度，自回