【深度学习】注意力机制| 基于“上下文”进行编码,用更聪明的矩阵乘法替代笨重的全连接

最新推荐文章于 2025-04-29 23:42:25 发布
最新推荐文章于 2025-04-29 23:42:25 发布
阅读量1.5k 收藏 22
点赞数 19
CC 4.0 BY-SA版权
分类专栏： 逐解AlphaFold：蛋白质折叠之谜 文章标签： 深度学习 矩阵 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Yaoyao2024/article/details/147528402

在这里插入图片描述

0、前言|声明

注意力机制目前已经运用到大部分深度学习算法框架当中。首先我个人初次学习看的是B站博主王木头的这篇视频：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于注意力机制 (Attention Mechanism) 的上下文感知 RL 算法
形上得其象，形下合于数；阴阳自济，玄理自明。
02-18 367
在传统的马尔可夫决策过程 (MDP) 中，智能体的决策只依赖于当前时刻的状态，即满足马尔可夫性质 (Markov Property)。然而，在现实世界的许多复杂场景中，
YOLO11改进 | 注意力机制 | 结合静态和动态上下文信息的注意力机制
kay_545
10-11 1645
yolo11改进，yolo11
注意力机制中的文本(上下文)向量[Context vector]【亟待解决】
To be a better man
05-01 2796
1.无注意力机制的Context vector作用提供全局信息。 很清楚，这种定长的context vector设计有个很致命的问题，无法记忆长句子。当处理完所有输入序列后，模型对最初的输入单词已经**“忘得差不多了”**。也就是编码器输出的context vector并不能很好地表征长句子的开头部分信息。所以注意力机制就是为了解决这个问题提出的。 最初提出注意力机制就是为了解决神经机器翻译任务中长的源句子的记忆问题。注意力机制的做法并不要创建一个与编码器最后一个隐状态（last hidden..
【论文阅读】谷歌Infini-Transformer，一种长上下文的注意力机制
bylander的博客
04-16 2521
谷歌最新论文《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》，提出了一种新的方法来扩展基于Transformer的大型语言模型（LLMs），使其能够高效处理无限长的输入序列，同时保持内存和计算资源的有界性
深度图像修复的一个突破
AI公园
03-26 864
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chu-Tak Li编译：ronghuaiyang导读使用上下文注意力来进行深度图像修复。今天，我们将深入探讨深度图像修复的...
【深度学习】多头注意力机制的实现|pytorch
Yaoyao2024的博客
04-27 1388
在上篇文章中，我们介绍了系统且详细的介绍了注意力机制及其数学原理进行系统且详细的讲解。在本篇博客中，我们围绕 多头注意力的代码实现进行展开。MultiHeadAttention：多头注意力机制Gated MultiHeadAttention：带门控的注意力机制Global Gated MultiHeadAttention：全局+门控注意力机制最终将其整合到一个注意力模块中，利用传递参数的方法选择使用哪种注意力。
深度学习的最新进展：综述 Recent Advances in Deep Learning: An Overview
baidu88vip的博客
08-10 6954
深度学习的最新进展：综述 Recent Advances in Deep Learning: An Overview （点击标题链接原文 https://arxiv.org/abs/1807.08169） 摘要 Abstract 摘要：深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法为计算机视觉和机器学习带来了革命性的进步。新的深度学习...
栋的月结 | 第一回合（定期更新、动态、架构、云技术、算法、后端、前端、收听/收看、英文、书籍、影视、好歌、新奇）[含泪总结.. 憋泪分享！]
纽雪澳诺加海美德的博客
02-01 2697
开篇词 大家好！以下是我在 2020 年 1 月 1 日至 31 日的所见、所闻、所学和所悟。 现在，我把它们安利给你们。   定期更新 原创专栏： 栋的周评 一文搞定 Linux 管理员手册：既简单又深刻 官方授权： Baeldung Java 周评 符合官方许可： Spring 官方指南   动态 在我的《一文搞定》系列专栏里新增了： 《一文搞定 |...
BAT 机器学习 1000 题 301-400（转）
weixin_30367873的博客
05-20 2639
BAT 机器学习 1000 题 301-400（转） https://github.com/wizardforcel/data-science-notebook/blob/master/ml/BAT_%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0_1000_%E9%A2%98/301-400.md 301.在以下不同的场景中,使用的分析方法不正确的有 （B）...
Small Object Detection using Context and Attention（使用上下文和注意力机制的小型物体检测）
知欧zhou的博客
10-27 5569
Small Object Detection using Context and Attention 使用上下文和注意力机制的小型物体检测 Jeong-Seon Lim University of Science and Technology jungsun0427@etri.re.kr Marcella Astrid University of Science and Technology marcella.astrid@ust.ac....
注意力机制：解决深度学习模型中位置和上下文问题的关键
AI天才研究院
12-24 452
1.背景介绍 深度学习技术的发展已经进入了一个高速发展的阶段，它在图像识别、自然语言处理、计算机视觉等领域取得了显著的成果。然而，深度学习模型在处理序列数据方面，如自然语言处理、音频处理等，仍然存在一些挑战。这些挑战主要表现在模型难以捕捉到序列中的位置信息和上下文关系。为了解决这些问题，人工智能科学家和计算机科学家提出了一种新的神经网络架构——注意力机制(Attention Mechanism)...
注意力机制
顺其自然~专栏
09-13 698
Transformer、BERT等模型在NLP领域取得了突破，其模型主要依赖了注意力机制（Attention Mechanism）。注意力Attention机制被应用到越来越多的地方，那么注意力Attention机制的原理和本质到底是什么？
一文搞懂Transformer架构的三种注意力机制
Android23333的博客
08-21 2158
大家对注意力机制多少都有所耳闻，毕竟在自然语言处理（NLP）和大型语言模型（LLM）领域，2017年，《Attention Is All You Need》这篇论文是里程碑式的存在；几乎所有的LLM都是基于注意力机制构建的，甚至最新的多模态或基于视觉的模型也在某种程度上都运用了它；今天，我们将深入探讨注意力机制。
注意力机制和上下文向量（Context Vector）怎么理解
chunmiao3032的专栏
11-07 2377
回到机器翻译的例子，当模型尝试生成目标语言的句子中的每个词时，它会查看输入句子中的每个词，并根据这些词的重要性（即"注意力"）来分配权重。在阅读书籍的例子中，你可能会记住你读过的关键句子，或者写下你觉得重要的想法，这些都可以看作是"上下文"信息。以机器翻译为例，当我们试图将一句话从语言A翻译成语言B时，我们不是一次性看完整个句子然后翻译，而是先看句子的一部分，理解它的含义，然后进行翻译，然后再移动到下一部分。在这个过程中，我们的大脑会对句子中的每个部分给予不同的"注意力"，这就是注意力机制的工作方式。
注意力机制综述
真滴不可理喻的博客
03-28 1467
一文详解什么是注意力机制、Encoder—Decoder模型、自注意力机制、Transformer
像高中一样学习：注意力机制(Attention Mechanism）
最新发布
LUOYU125的博客
04-29 1238
机器学习中的一种数据处理方法，允许机器学习模型在处理输入数据时，动态地选择性地关注与当前任务最相关的部分，同时忽略无关信息。其核心思想是通过计算输入元素的重要性权重，将有限的资源集中在关键信息上，从而提升模型的性能和解释性。
推荐文章：多上下文注意力网络 - 改进人体姿态估计的利器
gitblog_00007的博客
06-05 461
推荐文章：多上下文注意力网络 - 改进人体姿态估计的利器 1、项目介绍 在计算机视觉领域，人体姿态估算是一个至关重要的任务，它涉及到从图像中准确地检测和定位人体的关键关节。【Multi-Context Attention for Human Pose Estimation】是一个基于Torch框架的开源项目，由Xiao Chu等人在2017年CVPR会议上提出。这个项目旨在通过引入多上下文注意力机...
目标检测论文解读复现之十：基于YOLOv5的遥感图像目标检测（代码已复现）
m0_70388905的博客
11-17 6094
目标检测是遥感图像处理领域的一项重要技术，遥感图像目标种类繁多且存在目标物体难以被检测。提出把YOLOv5算法应用到遥感图像目标检测的方法。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是瑶瑶子啦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值