Bert/Transformer模型的参数大小计算

转载 已于 2023-07-03 11:17:09 修改 · 314 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/weixin_43922901/article/details/102602557
文章标签：

#bert #人工智能 #深度学习

于 2023-05-16 16:36:15 首次发布
文章详细分析了深度学习模型的参数数量与计算时间之间的关系，讨论了如何影响模型的训练效率和性能。作者提到了论文1810.04805中的观点，该论文可能提出了新的优化策略来平衡模型复杂性和计算资源。此外，还介绍了控制模型大小和优化时间复杂度的一些技术实践。

https://blog.youkuaiyun.com/weixin_43922901/article/details/102602557?spm=1001.2101.3001.6650.12&utm_medium=distribute.pc_relevant.none-task-blog-2defaultCTRLISTRate-12-102602557-blog-126405946.pc_relevant_multi_platform_whitelistv4&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2defaultCTRLISTRate-12-102602557-blog-126405946.pc_relevant_multi_platform_whitelistv4&utm_relevant_index=13
paper：https://arxiv.org/pdf/1810.04805.pdf
在这里插入图片描述

参数量 & 时间复杂度

https://blog.youkuaiyun.com/jining11/article/details/126124247

Transformer 基础系01：模型参数量
u013250861的博客
11-27 980
如图所示，Transformers 结构的参数量包括 Embed 层，l 层 Attention + MLP 层，每层还有 layernorm 和 position embedding 参数，推理如下表。参考LLaMA模型打印参数名和 shape 以校验。
Transformer大模型实战 BERT实战
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-03 346
Transformer大模型实战：BERT实战 1. 背景介绍 1.1 问题的由来 在深度学习领域，尤其是自然语言处理（NLP）领域，传统的循环神经网络（RNN）和卷积神经网络（CNN）在处理序列数据时存在局限性。它们通常需要固定
Transformer参数量和复杂度
qq_45978862的博客
09-01 1506
在算法岗面试中经常会问到Transformer相关的基础知识。首先需要清楚Transformer的参数量和复杂度分别在算什么。其他部分包括Input Embedding 、Postion Encoding以及最后解码的Linear层。其中，每个MHSA、Masked MHSA、Multi-Head Cross-Attention和FFN中有含有Add&Norm操作。
Transformer模型的参数计算
qq_53795212的博客
05-18 2698
输入序列长度（sequence length）：10 一次处理的样本数量（batch size）：32 输入嵌入维度（embedding dimension）：512 位置编码维度：512 每一个Transformer层中注意力头的数量（number of attention heads）：8 前馈神经网络（FFN）隐藏层维度（hidden dimension of FFN）：2048 Transformer层的数量（number of Transformer layers）：6 1.
transformer模型的参数量和计算量
a_blade_of_grass的博客
06-26 3495
大规模语言模型（Large Language Model, LLM）的大体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，参数量为1750亿，训练数据达到了570GB。进而，训练大语言模型面临两个主要挑战：显存效率和计算效率。现在业界的大语言模型都是基于transformer模型的，模型结构主要是encoder-decoder（代表模型是T5）和decoder-only（分为Causal LM——代表模型GPT，Prefix LM——代表模型GLM）。
Transformer参数量计算
最新发布
weixin_60896526的博客
07-13 648
个相同的层组成，隐藏层的维度为。模型的可训练模型参数为。
超细节的BERT/Transformer知识点
海晨威
08-09 1601
随着NLP的不断发展，对BERT/Transformer相关知识的研(mian)究(shi)应(ti)用(wen)，也越来越细节，下面尝试用QA的形式深入不浅出BERT/Transformer。 1、Transformer在哪里做了权重共享，为什么可以做权重共享？ 2、Self-Attention 的时间复杂度是怎么计算的？ 3、不考虑多头的原因，self-attention中词向量不乘QKV参数矩阵，会有什么问题？ 4、为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？ 5、为什么BE
如何计算Bert模型的参数量
机器学习，深度学习
08-18 8919
如何计算Bert模型的参数量
【LLM第7篇】transformer跟bert、gpt、大模型的联系
凝眸伏笔的博客
05-29 3468
上一篇讲了transformer的原理，接下来，看看它的衍生物们。Transformer基本架构Transformer模型主要由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器负责处理输入序列，将其转换为一系列内部表示；解码器则根据这些内部表示生成输出序列。编码器和解码器都由多个相同的层堆叠而成，每层包括自注意力机制和全连接前馈两个子层，子层之间采用残差连接和层归一化技术。
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 1293
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
Transformer 参数量计算
阿里武的技术博客
10-19 6590
参考 https://blog.youkuaiyun.com/weixin_43922901/article/details/102602557 前言 参考文献从论文本身出发进行分析， 算出了Transformer参数量，但是也需要从源码实现来进行分析 Transformer 源码 class ScaledDotProductAttention(nn.Module): def __init__(self): super(ScaledDotProductAttention, self).__ini
分析transformer模型的参数量、计算量、中间激活、KV cache、bf16、fp16、混合精度训练
taoqick的专栏
07-30 1万+
计算端到端训练的GPU利用率时，不仅要考虑前向传递和后向传递的计算时间，还要考虑CPU加载数据、优化器更新、多卡通信和记录日志的时间。上文讲到一次前向传递中，对于每个token，每个模型参数，进行2次浮点数计算。前向计算过程中产生的中间激活，中间激活值与输入数据的大小（批次大小b和序列长度 l）是成正相关的，随着批次大小b和序列长度l的增大，中间激活占用的显存会同步增大。我们可以近似认为：在一次前向传递中，对于每个token，每个模型参数，需要进行2次浮点数运算，即一次乘法法运算和一次加法运算。
Transformer 相关模型的参数量计算
beingstrong的博客
08-19 6674
Transformer 相关模型的参数量计算
transformer系列3---transformer结构参数量统计
lansebingxuan的专栏
09-26 1682
NLP算法会使用不同的分词方法表示所有单词，确定分词方法之后，首先建立一个词表，词表的维度是词总数vocab_size ×表示每个词向量维度d_model（论文中dmodel默认值512），这是一个非常稀疏的矩阵。由两个线性层组成，W1维度是（dmodel，4×dmodel），b1维度是4×dmodel，W2维度是（4×dmodel，dmodel），b2维度是dmodel，参数量为 dmodel×4×dmodel+4×dmodel+4×dmodel×dmodel+dmodel =因此，位置编码的参数量=
你真的懂Transformer了吗？超全分析模型的参数量、计算量！
热门推荐
CV_Autobot的博客
07-25 1万+
作者| 丰臣英俊 编辑| 野马逐星点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文前言最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model, LLM)的研究热潮。大规模语言模型的“大”体现在两个方面：模型参数规模大...
Transformer计算量和过程统计
MicroE_Lv的博客
02-11 7845
整理一下Transformer相关论文的计算量和计算流程
深度解析：如何计算 Transformer 模型的参数量
2401_85373898的博客
05-13 1194
Transformer 模型的总参数量等于嵌入层参数量 + 编码器部分参数量 + 解码器部分参数量 + 输出层参数量。通过上述详细的计算步骤，我们可以较为准确地计算出 Transformer 模型的参数量，这有助于我们在实际应用中根据需求来调整模型规模，以平衡模型性能和计算资源消耗。例如，在资源有限的设备上，我们可以减小模型的参数量，如减少编码器或解码器的层级数，或者降低 d_model 和 d_ff 的维度等，来适应设备的计算能力。
自己动手计算Transformer模型参数，深入了解模型内部机制
xxue345678的博客
01-08 1832
在分析Transformer模型参数之后，我们更加清晰地理解了这种架构及其工作原理。Transformer模型以其独特的多头自注意力机制和前馈网络，有效地处理序列数据，并在捕捉复杂的依赖关系方面表现出卓越的性能。每层编码器和解码器都集成了多头自注意力、前馈网络以及规范化层等关键组件。此外，通过维持一致的维度 和实施残差连接，模型确保了信息在层间的顺畅传递，同时也有效防止了在深层网络中常见的梯度消失问题。
BERT模型参数计算
02-21
### 计算 BERT 模型参数数量的方法 对于 BERT 模型而言，其参数量主要取决于模型架构中的不同组件及其维度设置。具体来说，BERT 的参数主要包括嵌入层、编码器层以及前馈神经网络部分。 #### 嵌入层参数计算 嵌入层负责将输入的 token 转换成向量表示形式。这部分参数来源于词嵌入矩阵 \( W_e \)，位置嵌入矩阵 \( W_p \) 和分段嵌入矩阵 \( W_s \)[^1]。假设词汇表大小为 V, 隐藏层尺寸 (hidden size) 为 H，则有： \[ \text{Embedding parameters} = V \times H + M \times H + S \times H \] 这里 M 表示最大序列长度；S 则代表可能存在的片段数目（通常设为2）。 #### 编码器层参数计算 每一层 Transformer 编码器都含有自注意力机制和全连接前馈网络两大部分。每层内部的具体参数如下所示: -attention layer**: 自注意层内含三个线性变换权重矩阵 Q, K, V 及偏置项 b_q, b_k, b_v 。如果多头数设定为 N_heads ，则单个 head 维度 d_h=H/N_heads , 故此层总参数量可表达为： \[ \text{Self Attention Parameters per Head}=d_h\times(H+d_h)+3d_h\] \[ \text{Total Self Attention Parameters }=\sum_{i=1}^{N\_heads}\left(\text { Self Attention Parameters per Head }\right)\] - **Feed Forward Network(FFN)**: FFN 中有两个线性映射操作，分别对应中间状态扩展到较大维度 F （feed-forward dimension），再压缩回原始隐藏层尺寸 H : \[ \text{FFN Parameters}=F \cdot H+H+F\] 考虑到整个编码器堆叠 L 层，那么总的编码器参数即上述两项乘以层数L[^2]: \[ \text{Encoder Layer Total Parameters}=L[\text{(Self Attention Parameters)}+\text{(FFN Parameters)}]\] 最终得到整个 BERT Base 或 Large 版本下的全部参数之和即可得出整体规模分别为约1亿1千万或3亿4千多万个参数。 ```python def calculate_bert_params(vocab_size, max_seq_len, hidden_dim, num_layers, intermediate_dim, attn_heads): embedding_params = vocab_size * hidden_dim + max_seq_len * hidden_dim + 2 * hidden_dim self_attn_per_head = ((hidden_dim // attn_heads) * (hidden_dim + (hidden_dim // attn_heads))) + 3*(hidden_dim // attn_heads) total_self_attention = self_attn_per_head * attn_heads ffn_params = intermediate_dim * hidden_dim + hidden_dim + intermediate_dim encoder_layer_total = num_layers * (total_self_attention + ffn_params) return embedding_params + encoder_layer_total # Example calculation for BERT Base configuration params_base_model = calculate_bert_params( vocab_size=30522, max_seq_len=512, hidden_dim=768, num_layers=12, intermediate_dim=3072, attn_heads=12 ) print(f"Bert base model has approximately {int(params_base_model/1e6)} Million parameters.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值