Transformer实战（10）——生成式语言模型 (Generative Language Model, GLM)

0. 前言

生成式语言模型 (Generative Language Model, GLM) 正以前所未有的速度推动着技术进步。从 BERT 到 GPT，从 T5 到 ChatGPT，再到 DeepSeek，这些基于 Transformer 架构的模型正在重塑我们处理语言任务的方式。本文将深入探讨生成式语言模型的核心原理、发展历程及其多样化应用。

1. 生成式语言模型简介

自编码器 (Autoencoder, AE) 语言模型，如 BERT (Bidirectional Encoder Representations from Transformers)，完全基于 Transformer 的编码器部分，并且非常适合分类任务，而生成模型通常是编码器-解码器结构或仅解码器模型。生成式语言模型 (Generative Language Model, GLM) 最初是为了语言生成任务(如机器翻译或文本摘要)而设计的，但我们也可以看到 GLM 在其他任务中的广泛应用。
AE 模型非常适合分类任务(