transformer系列3---transformer结构参数量统计

最新推荐文章于 2025-05-13 10:00:00 发布
最新推荐文章于 2025-05-13 10:00:00 发布
阅读量1.3k 收藏 6
点赞数
分类专栏： transformer 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lansebingxuan/article/details/133304411
版权
本文详细解析了Transformer模型中Embedding、PositionalEncoding、EncoderLayer（包括MHA、layernorm和MLP）、DecoderLayer（包括maskMHA、交叉注意力等）的参数计算，以及总参数量的估计，重点展示了不同组件的参数规模和N层结构的参数变化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer参数量统计

1 Embedding

NLP算法会使用不同的分词方法表示所有单词，确定分词方法之后，首先建立一个词表，词表的维度是词总数vocab_size ×表示每个词向量维度d_model（论文中dmodel默认值512），这是一个非常稀疏的矩阵。这样，对于Transformer的encoder输入的句子sentence，先用相应的分词方法转换成新的序列src_vocab，然后用每个词的id去前面的稀疏矩阵查表，通过查表（nn.Embedding）将该序列转换到新的向量空间，就是词嵌入的结果。Transformer的decoder输入（输出）同理，先用相应的分词方法转换成新的序列tgt_vocab，然后将该序列经过embedding转换到新的向量空间。
因此统计参数量时，应为词表的维度=vocab_size × d_model。

2 Positional Encoding

位置编码同理，首先建立一个位置矩阵，维度是输入向量的最大长度src_max_len × dmodel，实际使用时候根据实际词长度n取前n个位置编码
因此，位置编码的参数量=src_max_len × dmodel。

3 Transformer Encoder

3.1 单层EncoderLayer

3.1.1 MHA

在这里插入图片描述

MHA包含 W Q ， W K ， W V W^{Q}，W^{K}，W^{V} WQ，WK，WV和输出的权重矩阵 W O W^{O} WO以及偏置， W Q ， W K 维度是 d m o d e l × d k ， W V 维度是 d m o d e l × d v W^{Q}，W^{K}维度是dmodel × dk，W^{V}维度是dmodel × dv WQ，WK维度是dmodel×dk，WV维度是dmodel×dv，输出权重矩阵 W O 的维度是 ( h × d v ) × d m o d e l W^{O}的维度是(h×dv)×dmodel WO的维度是(h×dv)×dmodel，论文中dk = dv = dmodel/h = 64，头数h = 8。

  1. 一个头中3个矩阵的参数量是dmodel × dk + dmodel × dk + dmodel × dv= 3dk × dmodel
  2. h个头的参数量=h × 3 × dk × dmodel = 3 d m o d e l 2 3dmodel^{2} 3dmodel2
  3. 加上输出矩阵后的矩阵总参数量=(h × dv) × dmodel + 3dmodel × dmodel = 4 d m o d e l 2 4dmodel^{2} 4dmodel2
  4. 每个矩阵偏置维度是dmodel，4个矩阵的偏置=4dmodel
  5. MHA总参数量= 4 d m o d e l 2 + 4 d m o d e l 4dmodel^{2}+4dmodel 4dmodel2+4dmodel

3.1.2 layer normalization

layer normalization层的参数包含weight和bias,代码中nn.LayerNorm(dmodel)，因此weight和bias的维度都是dmodel，参数量之和=2dmodel

3.1.3 MLP

由两个线性层组成，W1维度是（dmodel，4×dmodel），b1维度是4×dmodel，W2维度是（4×dmodel，dmodel），b2维度是dmodel，参数量为 dmodel×4×dmodel+4×dmodel+4×dmodel×dmodel+dmodel = 8 d m o d e l 2 + 5 d m o d e l 8dmodel^{2}+5dmodel 8dmodel2+5dmodel

3.1.4 layer normalization

同3.1.2，参数量之和=2dmodel

3.2 N层Encoderlayer总参数量

  1. 综上计算，Transformer中1层Encoderlayer的总参数量是 4 d m o d e l 2 + 4 d m o d e l + 2 d m o d e l + 8 d m o d e l 2 + 5 d m o d e l + 2 d m o d e l = 12 d m o d e l 2 + 13 d m o d e l 4dmodel^{2}+4dmodel+2dmodel+8dmodel^{2}+5dmodel+2dmodel=12dmodel^{2}+13dmodel 4dmodel2+4dmodel+2dmodel+8dmodel2+5dmodel+2dmodel=12dmodel2+13dmodel

  2. 论文中Encoderlayer的层数是N = 6 ，因此N层的Encoderlayer的参数量统计为 12 N d m o d e l 2 + 13 N d m o d e l 12Ndmodel^{2}+13Ndmodel 12Ndmodel2+13Ndmodel，实际中常常省略一次项，参数量统计= 12 N d m o d e l 2 12Ndmodel^{2} 12Ndmodel2。

4 Transformer Decoder

Decoder比Encoder多一层交叉多头注意力，以及一个layer normalization，但计算方式与Encoder相同，直接采用上面的结论

4.1 单层Decoderlayer

4.1.1 mask MHA

mask MHA总参数量= 4 d m o d e l 2 + 4 d m o d e l 4dmodel^{2}+4dmodel 4dmodel2+4dmodel

4.1.2 layer normalization

layer normalization参数量=2dmodel

4.1.3 交叉多头注意力

总参数量= 4 d m o d e l 2 + 4 d m o d e l 4dmodel^{2}+4dmodel 4dmodel2+4dmodel

4.1.4 layer normalization

layer normalization参数量=2dmodel

4.1.5 MLP

MLP参数量= 8 d m o d e l 2 + 5 d m o d e l 8dmodel^{2}+5dmodel 8dmodel2+5dmodel

4.1.6 layer normalization

layer normalization参数量=2dmodel

4.2 N层Decoderlayer总参数量

  1. 1层Decoderlayer参数量为上述计算之和， 4 d m o d e l 2 + 4 d m o d e l + 2 d m o d e l + 4 d m o d e l 2 + 4 d m o d e l + 2 d m o d e l + 8 d m o d e l 2 + 5 d m o d e l + 2 d m o d e l = 16 d m o d e l 2 + 19 d m o d e l 4dmodel^{2}+4dmodel+2dmodel+4dmodel^{2}+4dmodel+2dmodel+8dmodel^{2}+5dmodel+2dmodel=16dmodel^{2}+19dmodel 4dmodel2+4dmodel+2dmodel+4dmodel2+4dmodel+2dmodel+8dmodel2+5dmodel+2dmodel=16dmodel2+19dmodel
  2. N层Decoderlayer参数量= 16 N d m o d e l 2 + 19 N d m o d e l 16Ndmodel^{2}+19Ndmodel 16Ndmodel2+19Ndmodel

5 Transformer输出

Decoder输入输出向量的最大长度tgt_max_len，最后一层参数量=dmodel×tgt_max_len

Transformer的总参数量为上述5个部分的参数量之和。

AIGC实战——GPT(Generative Pre-trained Transformer)
盼小辉丶的博客
03-11 7603
注意力机制能够用于构建先进的文本生成模型，Transformer 是用于序列建模的强大神经网络，该神经网络不需要复杂的循环或卷积架构，而只依赖于注意力机制。这种方法克服了循环神经网络难以并行化的缺陷。Transformers 高度可并行化运算，能够在大规模数据集上进行训练。在本节中，我们将学习文本生成模型如何利用 Transformer 架构提高文本性能，并介绍自回归模型 GPT (Generative Pre-Trained transformer)。
探秘Transformer系列之（16）--- 资源占用
weixin_55010563的博客
03-22 475
综上，在标准的 Transformer 模型或者 LLaMA 系列（MHA）中，如果忽略词表、Embedding、LayerNorm 等参数后，总参数量为（所有 Transformer Block）： \(N = n_{layer} \times (n_{mha}+ n_{ffn}) = n_{layer} \times (3d \times d + d \times d + 8d \times d) = 12 \times n_{layer} \times d \times d\)
Transformer Decoder-Only 参数量计算
jzwei023的博客
05-11 788
Transformer 的假设d_attn = d_model，d_ff = 4 × d_model参数定义：d_mdole：模型维度；n_layer：层数；d_attn：注意力输出维度；d_ff：前馈网络维度；n_ntx：最大上下文长度（token）n_head：注意力头数n_vacab：词汇表大小。
深度解析：如何计算 Transformer 模型的参数量
最新发布
2401_85373898的博客
05-13 702
Transformer 模型的总参数量等于嵌入层参数量 + 编码器部分参数量 + 解码器部分参数量 + 输出层参数量。通过上述详细的计算步骤，我们可以较为准确地计算出 Transformer 模型的参数量，这有助于我们在实际应用中根据需求来调整模型规模，以平衡模型性能和计算资源消耗。例如，在资源有限的设备上，我们可以减小模型的参数量，如减少编码器或解码器的层级数，或者降低 d_model 和 d_ff 的维度等，来适应设备的计算能力。
transformer模型的参数量和计算量
a_blade_of_grass的博客
06-26 3077
大规模语言模型（Large Language Model, LLM）的大体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，参数量为1750亿，训练数据达到了570GB。进而，训练大语言模型面临两个主要挑战：显存效率和计算效率。现在业界的大语言模型都是基于transformer模型的，模型结构主要是encoder-decoder（代表模型是T5）和decoder-only（分为Causal LM——代表模型GPT，Prefix LM——代表模型GLM）。
Transformer模型的参数计算
qq_53795212的博客
05-18 2406
输入序列长度（sequence length）：10 一次处理的样本数量（batch size）：32 输入嵌入维度（embedding dimension）：512 位置编码维度：512 每一个Transformer层中注意力头的数量（number of attention heads）：8 前馈神经网络（FFN）隐藏层维度（hidden dimension of FFN）：2048 Transformer层的数量（number of Transformer layers）：6 1.
分析transformer模型的参数量、计算量、中间激活、KV cache、bf16、fp16、混合精度训练
taoqick的专栏
07-30 1万+
计算端到端训练的GPU利用率时，不仅要考虑前向传递和后向传递的计算时间，还要考虑CPU加载数据、优化器更新、多卡通信和记录日志的时间。上文讲到一次前向传递中，对于每个token，每个模型参数，进行2次浮点数计算。前向计算过程中产生的中间激活，中间激活值与输入数据的大小（批次大小b和序列长度 l）是成正相关的，随着批次大小b和序列长度l的增大，中间激活占用的显存会同步增大。我们可以近似认为：在一次前向传递中，对于每个token，每个模型参数，需要进行2次浮点数运算，即一次乘法法运算和一次加法运算。
20亿参数，大型视觉Transformer来了，刷新ImageNet Top1，All you need is money！
zandaoguang的博客
06-14 475
视学算法报道转载自：机器之心编辑：杜伟、陈萍2020 年 10 月，谷歌大脑团队提出将标准 Transformer 应用于图像，提出了视觉 Transformer（ViT）模型，并在多个图...
Transformer 参数量计算
阿里武的技术博客
10-19 6492
参考 https://blog.youkuaiyun.com/weixin_43922901/article/details/102602557 前言 参考文献从论文本身出发进行分析， 算出了Transformer参数量，但是也需要从源码实现来进行分析 Transformer 源码 class ScaledDotProductAttention(nn.Module): def __init__(self): super(ScaledDotProductAttention, self).__ini
（2-论文精读、代码分析）Restormer: Efficient Transformer for High-Resolution Image Restoration CVPR2022
qq_53826699的博客
07-28 1514
这个论文的主要想法是将 Transformer 模型应用到图像修复中，不过和一般的VIT模型不同的是，没有使用patch 级的特征进行 token 建模，可以理解为每个像素就是一个 token。Transformer block 主要包括两部分：一部分是self-attention 的计算，另一部分是 FFN 部分。作者也很自然的想到了改进这两个部分，提出了两个模块，分别是：Multi-Dconv Head Transposed Attention，主要改进 self-attention 部分。
论文笔记—NDT-Transformer: Large-Scale 3D Point Cloud Localization using the Normal Distribution Transfor
qq_46480130的博客
06-09 1577
论文笔记—NDT-Transformer: Large-Scale 3D Point Cloud Localisation using the Normal Distribution Transform Representation 文章摘要     ~~~~       ~~~   在 GPS 挑战的环境中，自动驾驶对基于 3D 点云的地点识别有很高的要求，并且是基于
Transformer动画讲解 - 工作原理
weixin_53880910的博客
07-29 1175
Transformer模型在多模态数据处理中同样扮演着重要角色，其能够高效、准确地处理包含不同类型（如图像、文本、音频、视频等）的多模态数据。 Transformer工作原理四部曲：Embedding（向量化）、Attention（注意力机制）、MLPs（多层感知机）和Unembedding（模型
SiT : Self-supervised vision Transformer
qq_47896523的博客
06-03 1241
自监督预训练可以显著提高下游任务的性能 [1]，[16]。在语音识别 [17] 和计算机视觉应用 [18]、[19]、[20]、[21] 中也观察到了类似的趋势。自监督预训练，特别是与 Transformer [22] 结合使用，是 NLP [1]、[16] 的首选模型。SSL 的成功是以海量数据集和大容量模型为代价的。视觉 Transformer 的预训练主要使用监督学习的超大规模数据集，例如由数亿个标记样本组成的数据集 [3]。
你真的懂Transformer了吗？超全分析模型的参数量、计算量！
CV_Autobot的博客
07-25 1万+
作者| 丰臣英俊 编辑| 野马逐星点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文前言最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model, LLM)的研究热潮。大规模语言模型的“大”体现在两个方面：模型参数规模大...
Transformer 相关模型的参数量计算
beingstrong的博客
08-19 5399
Transformer 相关模型的参数量计算
Bert/Transformer模型的参数大小计算
热门推荐
Lisen’s blog
10-17 4万+
前段时间仔细研究了下Bert论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。发现bert其实用的网络结构就是Transformer，因此，又去仔细看了下《All attention is all you need》。对Bert和Transformer有了一个大概的理解。但是其...
Transformer参数量和复杂度
qq_45978862的博客
09-01 1270
在算法岗面试中经常会问到Transformer相关的基础知识。首先需要清楚Transformer的参数量和复杂度分别在算什么。其他部分包括Input Embedding 、Postion Encoding以及最后解码的Linear层。其中，每个MHSA、Masked MHSA、Multi-Head Cross-Attention和FFN中有含有Add&Norm操作。
Transformer计算量和过程统计
MicroE_Lv的博客
02-11 7666
整理一下Transformer相关论文的计算量和计算流程
Transformer 基础系01：模型参数量
u013250861的博客
11-27 868
如图所示，Transformers 结构的参数量包括 Embed 层，l 层 Attention + MLP 层，每层还有 layernorm 和 position embedding 参数，推理如下表。参考LLaMA模型打印参数名和 shape 以校验。
vision transformer参数量
02-26
### Vision Transformer 模型参数量统计 Vision Transformer (ViT) 的参数量取决于多个因素，包括嵌入维度、编码器层数、多头注意力机制中的头数以及前馈网络的大小。 #### 影响 ViT 参数量的关键组件 1. **Embedding 层** - 图像被分割成固定大小的补丁(patch)，每个补丁转换为一个向量。假设图像尺寸为 \(H \times W\) ，补丁大小为 \(p \times p\) ，则会有 \(\frac{HW}{p^2}\) 个补丁。 - 对于每个补丁，存在一个可学习的位置编码矩阵加上投影权重矩阵来映射到指定维数 d 。因此这部分参数大约是 \((\text{{patch size}} * C + 1) * D\) ,其中C表示通道数目(通常是3),D代表目标特征空间维度[^3]。 2. **Transformer Encoder 结构** - 编码器由 N 个相同的层组成，每一层包含两个子层：一个多头自注意(Multi-head Self-Attention, MSA)模块和一个全连接前馈神经网络(Feed Forward Network, FFN)[^3]。 - 多头自注意部分涉及查询(Q)、键(K) 和值(V) 权重矩阵的学习，对于 h 个头部来说，总共有 \(h*D*(D/8)*3=3*h*D^2 / 8\) 个参数用于 QKV 投影；另外还有输出线性变换带来的额外 \(D*D=D^2\) 参数。 - 前馈网络通常采用两层感知机设计，中间隐藏层宽度设为\(4D\)，所以此阶段贡献了约 \(D*4D+4D*D=5D^2\) 的参数量。 - 考虑到整个编码器堆叠了 L 层，则上述计算需乘以L倍。 3. **MLP Head** - 这是一个简单的分类头，在最后接上一层线性的变换将序列长度压缩至类别数量 K 。如果输入给定的是 CLS token 表征，则仅需考虑从 D 映射到 K 的权值矩阵，即 \(D*K\) 参数。 综上所述，可以得出 ViT 总体参数的大致估算公式如下： \[ P_{total} = (\text{{Patch Projection Params}}) + L * ((MHA\_Params)+FFN\_Params))+(Classification\_Head\_Params)\] 具体数值会依据实际配置而变化，比如 ImageNet 上训练的标准 ViT-B/16 架构拥有大约 8600万参数[^1]。 ```python def calculate_vit_params(img_size=(224, 224), patch_size=16, embed_dim=768, num_heads=12, mlp_ratio=4., qkv_bias=True, depth=12, num_classes=1000): import math H, W = img_size patches_per_side = int(math.sqrt(H * W / (patch_size ** 2))) # Patch embedding parameters patch_proj_params = (patch_size**2 * 3 + 1) * embed_dim # Multi-head attention & feedforward network params per layer head_dims = embed_dim // num_heads attn_params = 3 * num_heads * head_dims**2 + embed_dim**2 ffwd_hidden_dim = int(embed_dim * mlp_ratio) ffwd_params = embed_dim * ffwd_hidden_dim + ffwd_hidden_dim * embed_dim encoder_layer_params = attn_params + ffwd_params total_encoder_params = depth * encoder_layer_params cls_head_params = embed_dim * num_classes return sum([ patch_proj_params, total_encoder_params, cls_head_params ]) print(f'Total Parameters: {calculate_vit_params():,}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CV温故知新

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值