Attention机制学习笔记

最新推荐文章于 2025-09-30 13:55:11 发布
原创 最新推荐文章于 2025-09-30 13:55:11 发布 · 316 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习

本文探讨了Attention机制和Self-Attention机制的区别，总结了常见的Attention计算方法，并分享了设计Attention模型的常见套路，适合对深度学习感兴趣的读者了解和学习。
图解Attention学习笔记
a_blade_of_grass的博客
06-14 1212
教程是来自。
【Linear Attention Talk】学习笔记
li1998zk的博客
02-16 1320
DeltaNet 严格来说比 SSM 更具表现力。
Attention （学习笔记）
TH_NUM的博客
05-11 1349
Seq-Seq 模型的困难： p(y1,...yT)∣x1,...xT=∏t=1T′p(yt∣c,y1,...,yt−1)=∏t=1T′g(c,st−2,yt−1)p(y_1,...y_T)|x_1,...x_T=\prod _{t=1}^{T^{'}}p(y_t|c,y_1,...,y_{t-1})=\prod _{t=1}^{T^{'}}g(c, s_{t-2}, y_{t-1})p(y1​,...yT​)∣x1​,...xT​=∏t=1T′​p(yt​∣c,y1​,...,yt−1​)=∏t=1T′.
Attention机制 学习笔记
hanserdaisuki的博客
02-11 768
Attention 的本质是什么 Attention 的3大优点 Attention 的原理
Attention学习笔记
cpz454446202的博客
06-13 1164
是一种高效的自注意力机制实现方法，旨在优化传统Transformer模型中的计算瓶颈。通过融合运算（如softmax与矩阵乘法）和内存访问优化，显著减少GPU显存读写次数，提升计算速度并降低内存占用。其核心思想是通过分块计算（tiling）避免存储庞大的中间注意力矩阵，从而适用于长序列处理。是一种优化后的注意力机制计算方式，通过将传统注意力计算中的多个操作（如矩阵乘法、Softmax、缩放等）融合为一个复合操作，减少内存访问开销和中间结果的存储需求。
self-attention学习笔记
weixin_55297729的博客
04-07 209
以购物软件中的商品查询机制为例，输入query，会返回得分从高到低的排序。总分又相似度和做value计算得出，相似度又由query和key做计算得出。用一个token的query和另一个token的key相乘获取两个token的相似度。
triton学习笔记6: Fused Attention
AlgoCraft
06-07 1591
本文分享了Flash Attention v2的学习笔记，主要内容包括： Flash Attention v2的主要优化点：减少非matmul计算、优化seqlen维度并行、改进Warp分区策略 对比v1和v2的计算逻辑差异，包括IO交换次数减少和循环顺序调整 提供官方Triton实现的代码片段，展示了注意力机制的核心计算过程 介绍了在不同硬件平台上的配置选项 文章是系列笔记的一部分，涉及Flash Attention v1/v2/v3及flash decoding等相关技术 摘要完整呈现了文章的技术要点和
《attention机制》学习笔记
无深度不学习的博客
08-05 253
最近看了很对关于attention机制的文章，发现很多都讲的很抽象，有的很难理解。在这里做一次归纳性的总结，语言尽可能的精简。有讲错的地方欢迎指正。 概念 attention机制的本质是从关注全部到关注整体。 举个例子，比如视线追踪，他可以实时的显示你关注的地方，比如下图，途中白色的圈表示关注的地方（忽略中国boy奇怪的关注点） 原理 下面是attention机制的工作过程，以翻译为例 它使用的是encoder-decoder架构，但并不是所有的attention机制都是这个架构的。比如在做情感分析时，
attention 注意力机制 学习笔记-GPT2
sinat_41053216的博客
11-14 961
多头注意力实际上就是将单个Q,K,V向量，分裂为多个头，然后和self-attention一样流程计算每个头的注意力，最后得到一个输出向量，然后将多个头的输出向量拼接到一起，得到最后的输出结果。对于masked-attention呢，实际上就是计算注意力得分时候，对第t个单词，仅仅计算0到t单词的注意力得分，t~T 部分的注意力得分不计算，计算softmaxs时t之后的部分以初值0代替。而后和self-attention一样的，每一个注意力头的Value向量和该头的注意力得分相乘，得到该注意力头的结果。
CBAM：Convolutional Block Attention Module 学习笔记
最新发布
qq_34832548的博客
09-30 1006
方法：提出了卷积块注意力模块，这是一种简单有效的前馈卷积神经网络注意力模块，给顶一个中间特征图，模块沿着通道和空间两个独立的维度依次推断注意力图，然后将注意力图乘以输入特征图进行自适应特征细化，作为一个轻量化的通用模块，可以无缝集成到任何CNN架构中且开销忽略不计，可以与基础CNN一起进行端到端训练贡献：各种模型分类和检测性能都有持续改进。
【科研日常】线性注意力（Linear Attention）学习笔记
一只数模菜鸡的博客
08-15 1628
摘要： 线性注意力是一种改进的注意力机制，通过数学变换将传统自注意力的$O(N^2)$复杂度降低至$O(N)$，适用于处理长序列（如长文本、高分辨率图像）。其核心是用正定映射函数（如ReLU、ELU）近似softmax，将$QK^T$分解为$\phi(Q)(\phi(K)^TV)$，避免显式计算大矩阵。相比传统注意力，线性注意力牺牲少量精度，但显著提升内存效率和并行性，已应用于Performer等模型。代码实现中，线性注意力通过特征映射和矩阵分解优化计算，适合资源受限场景。
Deformable Attention学习笔记
charles_zhang_的博客
11-19 1万+
Transformer 最近在各种视觉任务中表现出卓越的表现。大的(有时甚至是全局的)接受域使Transformer模型比CNN模型具有更高的表示能力。然而，单纯扩大接受野也会引起一些问题。一方面，在ViT中使用密集注意力会导致过多的内存和计算成本，特征会受到超出感兴趣区域的无关部分的影响。另一方面，PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模远程关系的能力。为了解决这些问题，我们提出了一种新的Deformable 自注意模块，
（深度学习）Pytorch之dropout训练
热门推荐
junbaba_的博客
04-22 6万+
(深度学习)Pytorch学习笔记之dropout训练 Dropout训练实现快速通道：点我直接看代码实现 Dropout训练简介 在深度学习中，dropout训练时我们常常会用到的一个方法——通过使用它，我们可以可以避免过拟合，并增强模型的泛化能力。 通过下图可以看出，dropout训练训练阶段所有模型共享参数，测试阶段直接组装成一个整体的大网络： 那么，我们在深度学习的有力工具——Pytor...
（深度学习）Pytorch实现MLP并在MNIST数据集上验证
junbaba_的博客
04-21 8785
Pytorch实现MLP并在MNIST数据集上验证 1.综述 2.MNIST数据集 3.代码细节说明 4.详细代码 综述 ”PyTorch实现MLP并在MNIST数据集上验证“是我所上的模式识别与深度学习课程的第一个实验，主要是给我们练练手熟悉熟悉Pytorch的——如果你也是刚刚入门Pytorch，这个实验非常适合你来练手！ 首先，介绍一下Pytorch： Pytorch是torch的pyt...
什么是one-shot learning
junbaba_的博客
11-27 5955
什么是one-shot learning ​ Zero-shot learning 指的是我们之前没有这个类别的训练样本。但是我们可以学习到一个映射X->Y。如果这个映射足够好的话，我们就可以处理没有看到的类了。 比如，我们在训练时没有看见过狮子的图像，但是我们可以用这个映射得到狮子的特征。一个好的狮子特征，可能就和猫，老虎等等比较接近，和汽车，飞机比较远离。 ​ One-shot learning 指的是我们在训练样本很少，甚至只有一个的情况下，依旧能做预测。 ​ 这是如何做到呢？可以在一个大数据
Grid Search简介
junbaba_的博客
04-09 5455
Grid Search简介 ​ ​ 跟人聊天时听到Grid Search，一开始还以为误以为是Beam Search了，后来查阅了一下才了解了它的意思。 ​ ​ Grid Search是一种调参的手段，即穷举，穷举所有的超参组合。 ​ ​ 当你对决策树调参，如果只对一个超参优化，比如树的最大深度，尝试[3, 5, 7]。那么可以表示为 ​ ​ 如果你还想对分裂标准进行调参，分别试试gini和entropy，那么就相当要对2×3=6组参数进行尝试。如下图 ​ ​ 所以这就是为什么叫做gird search
（深度学习）Pytorch自己动手不调库实现LSTM
junbaba_的博客
05-15 3967
（深度学习）Pycharm自己动手不调库实现LSTM 此文为Pycharm深度学习的第三篇文章，在上一篇文章（深度学习）Pytorch进阶之实现AlexNet中我们不掉库手动实现了AlexNet，今天我们尝试更具挑战性的，手动实现LSTM。 LSTM（Long short-term memory）是一种特殊的RNN。通过精巧的设计解决长序列训练过程中的远距离传递导致的信息丢失问题。 标准RNN由简单的神经网络模块按时序展开成链式。这个重复模块往往结构简单且单一，如一个tanh层。这种记忆叠加方式简单粗暴，容
tensorboard命令打开空白页面的解决办法
junbaba_的博客
04-25 3907
tensorboard命令打开空白页面的解决办法 现象 使用tensorboard --logdir runs命令后，命令行显示正常： 然而打开所提供的http://localhost:6006/页面却却只有空白页面。 分析原因 在当前虚拟环境中输入conda list查看环境中的库： 发现tensorflow、tensorboard版本跟tensorboardX版本不对应（我这里截图是修...
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值