面试真题——self-attention 不要只记公式了！！

最新推荐文章于 2025-04-28 01:01:46 发布

DeepLearning01

最新推荐文章于 2025-04-28 01:01:46 发布

阅读量730

点赞数 6

分类专栏： AIGC生成论文面试题目文章标签：面试深度学习 pytorch

本文链接：https://blog.youkuaiyun.com/JustWantToLearn/article/details/138874373

版权

self-attention 详细代码讲解

今日面试真题!
很简单，但是面试时候细节方面没有写对

1、公式

大家都熟知的：
$Softmax(\frac{QK^T}{\sqrt{d_k} })V$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

DeepLearning01

关注关注

6
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Transformer和self Atten 面试1

强化学习曾小健

09-24

170

自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型，具体原理可以参考传送门的文章。之后google又提出了解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。

阿里大数据面试题集锦及参考答案(3万字长文：持续更新)

大模型大数据攻城狮的专栏

07-18

3686

在Java 8之前，接口中的方法只能是抽象的，即只有方法签名而没有实现。但从Java 8开始，引入了默认方法（default methods）和静态方法（static methods），使得接口可以包含具体的实现。默认方法使用default关键字定义，允许接口中的方法有一个默认实现，这样实现接口的类可以选择性地覆盖这些方法。静态方法则与类中的静态方法相似，它们不属于任何接口实例，而是属于接口本身，主要用于提供工具方法或常量。

参与评论您还未登录，请先登录后发表或查看评论

Attention和Transformer灵魂七问

sgzqc的专栏

04-22

1219

Transformer和Attention结构详解

【大模型面试每日一题】Day 2：长序列改进Self-Attention

最新发布

2302_79932616的博客

04-28

810

面试官：当序列长度超过10万时，你会如何改进Self-Attention？

NLP/Transformer/BERT/Attention面试问题与答案

yaohaishen的专栏

02-18

2922

主要聚焦目前处于NLP舞台中央的Transformer/BERT/后BERT 和 Self Attention。筛选的问题会深入到上述算法/模型更细节的地方，而尽量避免大而泛的问题。本文希望能帮助你对Transformer/BERT的理解再深一层，而这也要求你对上面的算法/模型有基本的认识，主要包括这两部分（后BERT的模型可以自行查找）： 1、论文：论文是最一手的资源，没有各方解读的杂音 Transformer:Attention Is All You Need BERT:Pre-train..

大模型算法岗面试题系列（七十二）| Self-attention的公式及参数量？为什么用多头？为什么要除以根号d？

Code1994的博客

09-08

870

Self-attention，也称为自注意力，是一种在自然语言处理和其他序列建模任务中广泛使用的机制。Self-attention的计算可以分为三个步骤：计算查询（Q）、键（K）和值（V），然后计算注意力权重，最后进行加权求和。多头注意力机制是将输入分割成多个“头”，每个“头”都有自己的权重矩阵WQ, WK, WV，可以捕捉到输入序列的不同部分和不同方面的信息。

超细节的BERT/Transformer知识点

weixin_40920183的博客

03-23

917

作者：海晨威地址：https://zhuanlan.zhihu.com/p/132554155文章经过作者同意转载随着NLP的不断发展，对BERT/Transformer相关知识的研(mi...

AI面试锦囊|网易互娱AI Lab人工智能研究工程师两面分享

AImianshizhinan的博客

03-01

408

今天小编给大家分享的便是关于AI Lab人工智能研究工程师岗位的面试真题。

超细粒度分析 XLNet 中神奇的 Attention Mask

海晨威

11-29

1315

BERT后时代，XLNet 在20个任务上超越BERT，引起不小的关注。最重要的改进是 XLNet 实现了不在输入中加[Mask] 标志，同样可以利用上下文信息，解决了BERT预训练和微调不一致的问题。 1、XLNet如何实现在不加 [Mask] 情况下利用上下文信息呢？ XLNet 通过 Permutation Language Modeling (PLM) 重排输入文本，使得当前词的下文也有可能出现在当前词的「上文」中，而实际的操作不是通过改变文本输入顺序来实现，而是依靠关键的 Attention M

面试题

热门推荐

沧海横流方显英雄本色

08-17

2万+

changetitle(); Sony笔试题　　1．完成下列程序　　* 　　*.*. 　　*..*..*.. 　　*...*...*...*... 　　*....*....*....*....*.... 　　*.....*.....*.....*.....*.....*..... 　　*......*......*......*......*......*......*.

阿里面试官问：Self-Attention 的时间复杂度/空间复杂度是怎么计算的?

qq_46094651的博客

09-14

924

本人是某双一流大学硕士生，也最近刚好准备参加 2024年秋招，在找大模型算法岗实习中，遇到了很多有意思的面试，所以将这些面试题记录下来，并分享给那些和我一样在为一份满意的offer努力着的小伙伴们！！！

机器学习面试之Attention

csiao_Bing的博客

12-18

938

摘自 milter https://www.jianshu.com/p/c94909b835d6 1 RNN做机器翻译的经典思路 encoder-decoder 用RNN做机器翻译时，通常需要两个RNN网络，一个用来将接收待翻译语句，对其进行编码，最后输出一个vector，这个网络叫encoder。然后，该vector会作为输入，传给另一个RNN网络，该网络用来根据vector产生目标语言的翻译语...

attention中的问题

weixin_43444314的博客

04-28

618

softmax和这个是一个意思

面试问题汇总

张小猪的家

08-16

1644

1.现在对针对bert的改进有哪些? 参考答案一方面，针对我们自己进行训练的模型，模型改进更多出现在微调网络的选择上。对于BERT的效果提升更多依赖于对数据的调整。另一方面，从整个NLP发展的角度，新型模型如ALBERT，XLNET都对BERT做了一系列的改进，如：为了降低参数量，对Embedding矩阵进行因式分解，不同的encoder层进行参数共享；预训练数据去除主题影响，句子对使用相同主题来源，最后发现模型在100w步后仍然没有过拟合，移除dropout层。 2.fasttext和word2vec

2024最新AI大模型-LLm八股合集（六）

2401_85325557的博客

06-19

937

在 Attention 机制中，同样需要忽略 padding 部分的影响，这里以transformer encoder中的self-attention为例：self-attention中，Q和K在点积之后，需要先经过mask再进行softmax，因此，核心思想是在处理序列数据时，网络应该更关注输入中的重要部分，而忽略不重要的部分，它通过学习不同部分的权重，将输入的序列中的重要部分显式地加权，从而使得模型可以更好地关注与输出有关的信息。这使得模型能够根据输入序列的不同部分的重要性，自适应地选择要关注的信息。

算法面试之transformer的Attention和多头自注意力机制

持续战斗状态的博客

04-02

6525

1.Attention CNN CNN的卷积操作可以提取重要特征，我觉得这也算是Attention的思想，但是CNN的卷积感受视野是局部的，需要通过叠加多层卷积区去扩大视野，然而实际情况是CNN做NLP问题就是做不深，做到2到3层卷积层就做不上去了；另外，Max Pooling直接提取数值最大的特征，也像是hard attention的思想，直接选中某个特征。Max Pooling的操作逻辑是：从一个卷积核获得的特征向量里只选中并保留最强的那一个特征，所以到了Pooling层，位置信息就被扔掉了。 RNN

DL&NLP学习笔记 & 2021春招面试——RNN & Attention

Uniqorn的博客

02-24

237

目录Word RepresentationRNNRNN Formulation模型训练过程 Word Representation 词表示分类如下：语言模型：预测一个词序列的概率 RNN 假设：时间信息很重要想法：将上一个隐藏层的信息传递给所有上下文；将神经网络的条件设置为所有前面的单词，并在每个时间步上绑定权重； Bi-Gram模型：用前一个词预测下一个词 RNN：用前面所有词预测下一个词 RNN Formulation 激活函数：模型训练过程 ...

【面试】Cross Attention 和 Self Attention 主要的区别是什么？

Lewiz_124的博客

09-07

2586

是 Transformer 架构中的核心机制，主要用于捕捉。

Attention注意力机制

终极香蕉大菠萝的博客

04-06

451

深入理解Attention机制要了解深度学习中的注意力模型，就不得不先谈Encoder-Decoder框架，因为目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想，本身并不依赖于特定框架，这点需要注意。 Encoder-Decoder框架可以看作是一种深度学习领域的研究模式，应用场景异常广泛。图2是文本处理领域里常用的Encoder-Dec...