面试真题——self-attention 不要只记公式了！！

最新推荐文章于 2025-05-20 10:39:58 发布
原创 最新推荐文章于 2025-05-20 10:39:58 发布 · 843 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#面试 #深度学习 #pytorch

self-attention 详细代码讲解

今日面试真题!
很简单，但是面试时候细节方面没有写对

1、公式

大家都熟知的：
Attention=Softmax(QKTdk)VAttention = Softmax(\frac{QK^T}{\sqrt{d_k} })V Attention=Softmax(dk​

最低0.47元/天 解锁文章
Transformer和self Atten 面试1
强化学习曾小健
09-24 274
自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型，具体原理可以参考传送门的文章。之后google又提出了解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。
超细粒度分析 XLNet 中神奇的 Attention Mask
海晨威
11-29 1436
BERT后时代，XLNet 在20个任务上超越BERT，引起不小的关注。最重要的改进是 XLNet 实现了不在输入中加[Mask] 标志，同样可以利用上下文信息，解决了BERT预训练和微调不一致的问题。 1、XLNet如何实现在不加 [Mask] 情况下利用上下文信息呢？ XLNet 通过 Permutation Language Modeling (PLM) 重排输入文本，使得当前词的下文也有可能出现在当前词的「上文」中，而实际的操作不是通过改变文本输入顺序来实现，而是依靠关键的 Attention M
大模型面试题之Attention面试题
最新发布
风一样
05-20 888
传统Attention机制存在上下文长度限制、速度慢和内存占用大的问题。针对这些问题，研究者提出了多种优化方向，包括提升上下文长度、加速和减少内存占用。Attention的变体包括稀疏Attention、线性化Attention、原型和内存压缩、低阶self-Attention、Attention与先验以及改进多头机制。Multi-Query Attention通过在所有注意力头上共享key和value，减少了KV cache的大小，从而降低显存占用并提升推理速度。Grouped-query Attenti
Attention和Transformer灵魂七问
sgzqc的专栏
04-22 1281
Transformer和Attention结构详解
NLP/Transformer/BERT/Attention面试问题与答案
yaohaishen的专栏
02-18 2978
主要聚焦目前处于NLP舞台中央的Transformer/BERT/后BERT 和 Self Attention。 筛选的问题会深入到上述算法/模型更细节的地方，而尽量避免大而泛的问题。本文希望能帮助你对Transformer/BERT的理解再深一层，而这也要求你对上面的算法/模型有基本的认识，主要包括这两部分（后BERT的模型可以自行查找）： 1、论文：论文是最一手的资源，没有各方解读的杂音 Transformer:Attention Is All You Need BERT:Pre-train..
Java全能学习面试手册——互联网企业面试真题.zip
10-01
Java全能学习面试手册——互联网企业面试真题.zip 01 java面试——北京-百度-Java中级.pdf 02 java面试——北京-京东-Java中级.pdf 03 java面试——广州-唯品会-Java大数据开发工程师.pdf 04 java面试——杭州-阿里...
银行面试真题——客户经理.pdf
11-20
这是因为给出的文件信息中，标题为“银行面试真题——客户经理.pdf”，描述与标题相同，均为“银行面试真题——客户经理.pdf”，而标签部分为空。接着，您提供的部分内容是一串数字和符号，没有实际的文字内容，因此...
大厂Java面试真题——并发面试专题
06-18
大厂Java面试真题分为Java、算法、操作系统、网络、面向对象、数据库、Java、系统设计、工具，本资料属于Java并发面试专题
2021Java大厂面试题——大厂真题之银盛支付-Java中级.pdf
01-29
大厂真题之银盛支付-Java中级.pdf
【大模型面试每日一题】Day 2：长序列改进Self-Attention
2302_79932616的博客
04-28 885
面试官：当序列长度超过10万时，你会如何改进Self-Attention？
大模型算法岗面试题系列（七十二）| Self-attention的公式及参数量？为什么用多头？为什么要除以根号d？
Code1994的博客
09-08 1127
Self-attention，也称为自注意力，是一种在自然语言处理和其他序列建模任务中广泛使用的机制。Self-attention的计算可以分为三个步骤：计算查询（Q）、键（K）和值（V），然后计算注意力权重，最后进行加权求和。多头注意力机制是将输入分割成多个“头”，每个“头”都有自己的权重矩阵WQ, WK, WV，可以捕捉到输入序列的不同部分和不同方面的信息。
超细节的BERT/Transformer知识点
weixin_40920183的博客
03-23 952
作者：海晨威地址：https://zhuanlan.zhihu.com/p/132554155文章经过作者同意转载随着NLP的不断发展，对BERT/Transformer相关知识的研(mi...
面试题
热门推荐
沧海横流方显英雄本色
08-17 2万+
changetitle(); Sony笔试题 　　1．完成下列程序 　　* 　　*.*. 　　*..*..*.. 　　*...*...*...*... 　　*....*....*....*....*.... 　　*.....*.....*.....*.....*.....*..... 　　*......*......*......*......*......*......*.
阿里面试官问：Self-Attention 的时间复杂度/空间复杂度是怎么计算的?
qq_46094651的博客
09-14 987
本人是某双一流大学硕士生，也最近刚好准备参加 2024年秋招，在找大模型算法岗实习中，遇到了很多有意思的面试，所以将这些面试题记录下来，并分享给那些和我一样在为一份满意的offer努力着的小伙伴们！！！
机器学习面试之Attention
csiao_Bing的博客
12-18 972
摘自 milter https://www.jianshu.com/p/c94909b835d6 1 RNN做机器翻译的经典思路 encoder-decoder 用RNN做机器翻译时，通常需要两个RNN网络，一个用来将接收待翻译语句，对其进行编码，最后输出一个vector，这个网络叫encoder。然后，该vector会作为输入，传给另一个RNN网络，该网络用来根据vector产生目标语言的翻译语...
attention中的问题
weixin_43444314的博客
04-28 644
softmax和 这个是一个意思
面试问题汇总
张小猪的家
08-16 1696
1.现在对针对bert的改进有哪些? 参考答案 一方面，针对我们自己进行训练的模型，模型改进更多出现在微调网络的选择上。对于BERT的效果提升更多依赖于对数据的调整。另一方面，从整个NLP发展的角度，新型模型如ALBERT，XLNET都对BERT做了一系列的改进，如：为了降低参数量，对Embedding矩阵进行因式分解，不同的encoder层进行参数共享；预训练数据去除主题影响，句子对使用相同主题来源，最后发现模型在100w步后仍然没有过拟合，移除dropout层。 2.fasttext和word2vec
2024最新AI大模型-LLm八股合集（六）
2401_85325557的博客
06-19 973
在 Attention 机制中，同样需要忽略 padding 部分的影响，这里以transformer encoder中的self-attention为例：self-attention中，Q和K在点积之后，需要先经过mask再进行softmax，因此，核心思想是在处理序列数据时，网络应该更关注输入中的重要部分，而忽略不重要的部分，它通过学习不同部分的权重，将输入的序列中的重要部分显式地加权，从而使得模型可以更好地关注与输出有关的信息。这使得模型能够根据输入序列的不同部分的重要性，自适应地选择要关注的信息。
算法面试之transformer的Attention和多头自注意力机制
持续战斗状态的博客
04-02 6618
1.Attention CNN CNN的卷积操作可以提取重要特征，我觉得这也算是Attention的思想，但是CNN的卷积感受视野是局部的，需要通过叠加多层卷积区去扩大视野，然而实际情况是CNN做NLP问题就是做不深，做到2到3层卷积层就做不上去了； 另外，Max Pooling直接提取数值最大的特征，也像是hard attention的思想，直接选中某个特征。Max Pooling的操作逻辑是：从一个卷积核获得的特征向量里只选中并保留最强的那一个特征，所以到了Pooling层，位置信息就被扔掉了。 RNN
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值