【大语言模型基础】-详解Transformer原理

一、Transformer

Transformer最开始用于机器翻译任务，其架构是seq2seq的编码器解码器架构。其核心是自注意力机制： 每个输入都可以看到全局信息，从而缓解RNN的长期依赖问题。

输入： （待学习的）输入词嵌入 + 位置编码（相对位置）

编码器结构： 6层编码器： 一层编码器 = 多头注意力+残差（LN） + FFN+残差（LN）

**输出：**每一个位置上输出预测概率分布（K类类别分布）

1.1 自注意力

分解式

缩放内积注意力

1. 自注意力的优势

     a. 计算开销，计算可并行 （嵌入维度d，序列长度n，计算复杂度**O(n^2d)）**

     b. 建模长期依赖 （稳定训练过程）

2. 自注意力缩放(内积过大，softmax饱和)

We suspect that for large values d_k, the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients.To counteract this effect, we scale the dot products by sqrt(d_k)

如上为原文。作者怀疑，如果Q和K的维度特别大，会使得内积后的值也大。从而使softmax进入梯度极小的区域（类似于sigmoid的饱和区域）。 这样容易导致梯度消失。

所以，他们将内积值除以sqrt（d_k)，进行一个缩放，而又不破坏相对比例。

多头注意力机制（multi-head attention）

Transformer 提出多头注意力机制（不同头结果拼起来，再做线性变换），增强了 attention 层的能力（参数量不变）。解释：

1. 它扩展了模型关注不同位置的能力。不同注意力头，关注不同的位置。长距离依赖
2. 多头注意力机制赋予 attention 层多个“子表示空间（训练之后，每组注意力可以看作是把输入的向量映射到一个”子表示空间“）

torch.nn.MultiheadAttention(embed\_dim, num\_heads, dropout=0.0, bias=True, add\_bias\_kv=False, add\_zero\_attn=False, kdim=None, vdim=None)

参数说明如下：

• embed_dim：最终输出的 K、Q、V 矩阵的维度，这个维度需要和词向量的维度一样
• num_heads：设置多头注意力的数量。如果设置为 1，那么只使用一组注意力。如果设置为其他数值，那么 num_heads 的值需要能够被 embed_dim 整除
• dropout：这个 dropout 加在 attention score 后面

定义 MultiheadAttention 的对象后，调用时传入的参数如下。

forward(query, key, value, key\_padding\_mask=None, need\_weights=True, attn\_mask=None)

• query：对应于 Query 矩阵，形状是 (L,N,E) 。其中 L 是输出序列长度，N 是 batch size，E 是词向量的维度

• key：对应于 Key 矩阵，形状是 (S,N,E) 。其中 S 是输入序列长度，N 是 batch size，E 是词向量的维度

• value：对应于 Value 矩阵，形状是 (S,N,E) 。其中 S 是输入序列长度，N 是 batch size，E 是词向量的维度

• key_padding_mask：如果提供了这个参数，那么计算 attention score 时，忽略 Key 矩阵中某些 padding 元素，不参与计算 attention（序列长度不同）。形状是 (N,S)。其中 N 是 batch size，S 是输入序列长度。

• 如果 key_padding_mask 是 ByteTensor，那么非 0 元素对应的位置会被忽略

• 如果 key_padding_mask 是 BoolTensor，那么 True 对应的位置会被忽略

• attn_mask：计算输出时，忽略某些位置。形状可以是 2D (L,S)，或者 3D (N∗numheads,L,S)。其中 L 是输出序列长度，S 是输入序列长度，N 是 batch size。

• 如果 attn_mask 是 ByteTensor，那么非 0 元素对应的位置会被忽略

• 如果 attn_mask 是 BoolTensor，那么 True 对应的位置会被忽略

在实际中，K、V 矩阵的长度一样，而 Q 矩阵的序列长度可不一样。这种情况发生在：在解码器部分的encoder-decoder attention层中，Q 矩阵是来自解码器下层，而 K、V 矩阵则是来自编码器的输出。

2. Encoder 和 Decoder

编码器就是编码器层（多头注意力+（残差+LN），FFN+（残差+LN））的堆叠。

解码器

Self-attention layers in the decoder allow each position in the decoder to attend to all positions in the decoder up to and including that position.We need to prevent leftward information flow in the decoder to preserve the auto-regressive property.We implement this inside of scaled dot-product attention by masking out (setting to −∞) all values in the input of the softmax which correspond to illegal connections.

  为了保持自回归的性质，要保持从左往右的顺序 （这种情况下，不能利用要预测的未来来推断过去）。  这里将当前token以后的进行mask (即将注意力得分加上-inf，将其变成无穷小，使其注意力系数极小接近于无) \[exp(-inf) = 0\]

  GAT也是这样做的，只不过mask的是非邻居结点 （避免信息泄露，从而让模型学不好）。

避免信息泄露，在解码器中使用mask：

# mask 不为空，那么就把 mask 为 0 的位置的 attention 分数设置为 -1e10（系数无穷小）

attention = torch.matmul(Q, K.permute(0, 1, 3, 2)) / self.scale
if mask is not None:
　　attention = attention.masked\_fill(mask == 0, -1e10)
　　attention = self.do(torch.softmax(attention, dim=-1))
　　x = torch.matmul(attention, V)

交叉注意力层（Decoder-Encoder Attention, Decoder到Encoder输出的潜表示）

使用前一层的输出来构造 Query 矩阵，而 Key 矩阵和 Value 矩阵来自于编码器最终的输出（seq2seq都是这样的，预测当前输出时，不仅看之前的输出，同时也对输入隐状态进行关注）

预测

每一个位置有一个分类损失；总的损失就是每个位置损失之和。

训练

让我们假设输出词汇表只包含 6 个单词（“a”, “am”, “i”, “thanks”, “student”, and “”（“”表示句子末尾））。

这种架构本就可以用来做语言模型，只不过这里做了seq2seq的翻译。

如果训练数据中本身就有很多句子对，就可以直接通过语言模型实现翻译，例如GPT架构。

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​