Transformer中，self-attention中的past_key_value的作用

已于 2023-08-17 15:03:23 修改
阅读量381 收藏 1
点赞数
文章标签： transformer
于 2023-08-17 15:01:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cm_mz/article/details/132341309
版权

在这里插入图片描述
参考:
https://blog.youkuaiyun.com/dragon_T1985/article/details/130048767
https://zhuanlan.zhihu.com/p/522481806
https://zhuanlan.zhihu.com/p/459305102
https://zhuanlan.zhihu.com/p/632229531

zzflybird
关注
Transformer中，self-attention模块中的past_key_value有什么作用？
AlphaFinance
04-09 3886
在生成任务中，模型会逐个生成新的单词。通过使用 past_key_value，我们可以避免在每个时间步重新计算整个序列的键和值，而只需在前一时间步的基础上计算新单词的键和值。如果 past_key_value 不是 None，则将新的键和值状态与之前的键和值状态拼接在一起。这样，我们就可以利用以前的计算结果，在新的时间步上仅计算新单词的键和值。past_key_value是在Transformer中的self-attention模块用于处理序列数据时，记录之前时间步的键（key）和值（value）状态。
LLM：ChatGLM-6B模型文件modeling_chatglm.py讲解
u013250861的博客
08-09 616
【代码】LLM：ChatGLM-6B模型文件modeling_chatglm.py讲解。
Transformers代码笔记系列1(T5 model）
u012409283的博客
12-16 2352
重要参数注释 past_key_value: 只有Decoder模型在文本生成过程（训练过程用不上）中才能用到。顾名思义，它存储的是Decoder模型在t时刻前输入的token对应的key和value映射，用于减少计算，将input在Wk、Wv上的映射存储起来，进行下一个词预测时，就可以直接拿过来用了。它包括self_attention和cross_attention对应的key、value映射。单个key或者value单元shape：【batch_size, n_heads, q_len-1, dim_
t5模型为什么可以通过传入past_key和past_value值来进行优化模型
小姑仔的博客
05-22 1479
t5模型是常用于文本生成部分的一个模型，也是目前我看到的各个nlp模型之中，唯一完整地使用transformer的所有完整结构(encoder部分加上decoder部分)的一个模型，接下来聊一下t5模型的生成优化过程。 优化的部分 首先对于生成这一块，最慢的速度在于推断而不在于训练，所以t5模型的优化部分在推断内容部分进行优化，推断部分使用的是transformer中的decoder结构，这里我们先看一下t5的decoder主要构成，我将它的结构图简化如下： Deco
有关于decoder中的past_key_values参数
weixin_43301333的博客
12-22 4916
（因为需要auto-regressively生成tokens），这个时候encoding_output 和上述的 k、v在整个decoding过程中，数值都不会变化（输入没变，模型参数也没变），因此它们就可以直接重用。我们都知道，encoder-decoder模型在进行generate的时候，会重复地调用decoder （i.e., auto-regressive）。，我们就可以直接使用上一个step已经计算好的K、V，而不用再进行重复的encoder_output ==> k_v_states的计算。
past_key_values在P-TuningV2中的巧用
c___c18的博客
06-19 1701
目前HuggingFace发布了关于微调LLMs的方法包——此外也列出了该包对不同的任务中，不同方法和模型的支持情况（我只列出了关于NLP的，还有的）：但是还没有P-Tuning v2:的方法，因此我就看源码是怎么处理的。在研究和阅读其他人blog期间，发现有些人对P-Tuning描述不准确。因此需要注意甄别（主要是P-Tuning和Prompt-Tuning的方法提出时间就差了一个月，并且在方法上有一定的相似性，都是在Embedding中使用了continuous prompt）
Transformer-Attention优化：Multi-Query Attention（更高效的推理）
u013250861的博客
08-19 559
显存占用和推理耗时减小是显而易见的，因为参数量减少了。至于效果变化得很小，只能说多头attention机制中的多头其实并不是一定，之前的bert模型有人探索了改变head头数目，也会保持效果变化不大。在大模型这，可能只需要有不同的head采用不同的query向量，kv一样来保证每个头提取到不同的特征就够了。什么时候使用MQA有效呢？1、采用attention的模型，模型规模越大，那么收益就约明显。
Baichuan2源码解析之：Baichuan2-13B-Chat/modelling_baichuan.py
强化学习曾小健
09-20 4116
这些功能可能用于更大的Transformer模型或其他神经网络模型中。导入Python的内置OS模块，用于处理操作系统相关任务。从PyTorch的神经网络库中导入功能模块，并为其取别名。从PyTorch的神经网络库中导入交叉熵损失函数。导入Python的类型注释库，这里导入了。导入Python的内置数学函数库。从PyTorch中导入神经网络库。提供的日志功能创建一个日志器对象，库中导入激活函数的映射表。，它用于创建上下文管理器。导入PyTorch框架。
past_key_values一般是什么，在什么时候用
10-12
在自注意力机制（self-attention）中，每个时间步不仅考虑当前位置的信息，还会根据过去的时间步的`key`和`value`来“记忆”上下文。这样，即使输入序列很长，模型也可以利用先前的计算结果，提高计算效率并减少内存...
P-TuningV2实战：巧妙运用past_key_values提升模型性能
bishedaima_com_q的博客
06-29 324
可以确定past_key_values的shape是**[(num_hidden_layers, batch_size, num_heads, sequence_length - 1, embed_size_per_head), (num_hidden_layers, batch_size, num_heads, sequence_length - 1, embed_size_per_head)]**，其中past_key_value[0]是past_key;这不在本次的讨论内，给自己埋个坑。
【mT5多语言翻译】之二——模型：T5模型与mT5模型与前置知识
十一月廿七风雨大作
04-11 6530
【注】具体来说，代码中把编码器、解码器整合到了T5Block里，又把交叉注意力和自注意力整合到了T5Attention里，所以在阅读源码的时候，得判断什么时候是解码器在运行、什么时候是编码器在运行，什么时候在算自注意力、交叉注意力。在编码器阶段，解码序列的id、mask没有，所以计算注意力时，会传输入序列的hidden_states、mask，这里的。之后，编码器会进行交叉注意力的计算，此时解码器已经拿到解码序列的自注意力向量hidden_states了，所以它不再需要解码序列的mask，所以此时的。
「深度解析」GPT2模型源码探索：第二章——GPT2Model初始化细节
DOUZHAOPENG1113的博客
06-11 261
至此总结一下GPT2Model的两个主要变量hidden_states和past_key_values的维度，在第一次迭代时默认输入的input_ids, token_type_ids, position_ids维度为[batch_size, seq_len], 在第二次及之后则为1，即每次输入一个token，对应hidden_states维度为第一次迭代时为[batch_size, seq_len, hidden_size], 第二次及之后则为[batch_size, 1, hidden_size]
Bert代码详解（一）
热门推荐
cpluss的博客
03-12 3万+
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
预训练模型专题_GPT2_模型代码学习笔记
qq_35128926的博客
12-23 1万+
最近将huggingface的transformers库中的GPT2模型源码详细学习了一遍，因此将学习过程中，对于GPT2模型源码的一些学习笔记记录在此篇博客之中，以供之后参考。 GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 language_models_are_unsupervised_multitask_learners 一、GPT2与GPT的区别 ...
【技术记录1】：Prefixtunning在BART中是如何实现的?
weixin_42953627的博客
07-03 2072
Prefix-tunning实践bug记录，关于past-key-value
natsort-3.5.3.tar.gz
04-11
该资源为natsort-3.5.3.tar.gz，欢迎下载使用哦！
C++个人备考复习资料
最新发布
04-11
蓝桥杯c 蓝桥杯c C++个人备考复习资料
基于FPGA的无刷电机旋变控制技术详解及应用
04-11
内容概要：本文详细介绍了如何使用FPGA进行无刷电机的旋变控制。首先讨论了旋变解码模块的设计，通过Verilog代码实现角度解算，并采用反正切查表法提高解算速度。接着探讨了PWM生成机制，展示了如何通过状态机实现高效的PWM波形生成，并强调了死区时间控制的重要性。然后深入讲解了闭环控制中的PID算法实现，特别是针对时钟对齐和防溢出处理进行了优化。此外，文章还涉及了旋变信号的硬核处理、CORDIC算法的应用以及速度观测器的设计。最后，通过对实际测试数据的分析，证明了FPGA方案相比传统DSP方案的优势，特别是在响应速度和角度解码精度方面。 适合人群：从事嵌入式系统开发、电机控制研究的技术人员，尤其是对FPGA感兴趣的工程师。 使用场景及目标：适用于需要高精度、快速响应的无刷电机控制系统设计。主要目标是通过FPGA的强大并行处理能力，实现更高效的旋变解码、PWM生成和闭环控制，从而提升系统的整体性能。 其他说明：文中提到多个具体的Verilog代码片段，帮助读者更好地理解和实现相关功能。同时，作者分享了许多实践经验，如调试过程中遇到的问题及其解决方案，有助于初学者少走弯路。
基于粒子群优化算法的PID控制器参数自动整定及其在自动控制领域的应用
04-11
内容概要：本文详细介绍了利用粒子群优化(Particle Swarm Optimization, PSO)算法进行PID控制器参数整定的方法。首先阐述了传统PID参数整定方法如试凑法和Ziegler-Nichols法的局限性，然后重点讲解了PSO算法的基本原理及其在PID参数优化中的具体实现步骤。文中提供了多个实例，包括四旋翼无人机电机转速控制、直流电机转速控制以及一般工业控制系统的PID参数优化。通过与传统方法对比，展示了PSO算法在减少超调量、缩短响应时间和消除稳态误差方面的优越性能。此外，还讨论了适应度函数的选择、参数边界处理、惯性权重调整等关键技术细节，并给出了具体的Python和Matlab代码示例。 适合人群：自动化专业学生、从事自动控制相关工作的工程师和技术人员。 使用场景及目标：适用于各种需要精确控制的场合，特别是那些难以建立精确数学模型的复杂非线性系统。目标是提高控制系统的稳定性、快速性和准确性，降低人工调参难度。 其他说明：尽管PSO算法在大多数情况下表现出色，但在某些特殊应用场景（如嵌入式系统）中需要注意计算资源消耗问题。同时，在面对时变系统时，可能需要进一步研究改进算法以满足实时性要求。
Transformer中的Self-attention机制深度解析
Self-attention机制是现代深度学习模型中的关键组成部分，尤其在Transformer架构中发挥着核心作用。该机制的核心思想是通过计算输入序列中每个位置的vector与其他位置vector之间的相关性，生成一个注意力分布，从而...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值