深入探索：Transformer模型——AI大模型时代的基石

AI 大模型时代的奠基石-transformer模型

Transformer及其变体的出现为大模型的研究和实践提供了基础的模型支持，并持续性地在处理复杂序列任务中发挥着关键作用。

1.自然语言处理任务介绍

自然语言处理（NLP）是通过计算机对自然语言文本进行理解、分析和处理的一系列任务，按照不同方向的常见的可以细分程如下几种任务：

• 文本分类：输入是一段文本，输出是该文本的类别
• 命名实体识别：输入是一段文本，输出是该文本中的某些关键要素或者信息
• 机器翻译：输入是一段语言文本，输出是 另一种语言文本；按照技术的发展，目前机器翻译主要有两种方法：基于统计的机器翻译和基于神经网络的机器翻译
• 文本摘要：输入是一段较长文本，输出是对该文本的一段精简表达文本；按照技术类别的不同可以分成生成式摘要技术和抽取式摘要任务，其中生成式摘要任务是在理解原始文本的基本语义和上下文，生成新的句子来表达摘要，而抽取式摘要是从原始文本中选择最相关的句子或者短语，然后将他们组合成摘要。
• 多轮对话交互：多轮对话任务涉及处理多个连续的对话回合，保持对话上线文，并实现更复杂的对话交互，其中里面会包含：上下文理解（意图和关键词槽抽取）、对话状态跟踪、回应生成

目前自然语言处理任务的发展可以大致分为四个阶段，每个阶段对应不同的范式，分别是特征工程、结构工程、目标工程和提示工程，具体如下：

而我们今天所介绍的Transoformerj属于上述的第三范式阶段，即预训练语言模型阶段

2.Transformer详解

Transformer在学习前，我们需要了解如下三个知识点：模型结构、注意力机制、归一化层