深度学习笔记 —— 注意力机制 + 注意力分数

最新推荐文章于 2024-11-08 10:54:50 发布
原创 最新推荐文章于 2024-11-08 10:54:50 发布 · 707 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #注意力

本文探讨了如何利用参数化的关键函数K衡量输入(x)与元素(xi)间的相似性，通过注意力机制赋予不同部分权重。该方法适用于任意长度数据，强调了其在信息检索和权重聚合上的优势，特别是在关键参数学习下的灵活性。

 

随意线索：指有意识去关注的点

根据查询去寻找比较感兴趣的东西

K：衡量x和xi之间距离的一个函数。\frac{K(x - x_i)}{\sum_{j = 1}^nK(x - x_i)}一除就拿到每一项的相对重要性，然后加权求和。

 

参数化，加入一个可以学习的参数。

 

 

好处：key和query可以是任意长度

 

注意力分数是没有被normalize过的

 

深度学习笔记——Transformer
haopinglianlian的博客
11-24 1575
本文详细介绍面试过程中可能遇到的Transformer知识点。
深度学习笔记之Transformer(三)自注意力机制
静静的学习就好
06-16 3022
上一节对注意力分数(Attention Score)这个概念进行了总结。本节将基于缩放点积注意力机制(Scaled Dot-Product Attention)这种注意力分数的计算模式，介绍自注意力机制。
深度学习-注意力机制和分数
qq_41286360的博客
06-12 1567
注意力机制源于对人类视觉的研究，描述了人类在处理大量信息时，会选择性地关注某些信息而忽略其他信息的过程。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，这种机制被称为注意力机制。注意力机制是一种强大的工具，它通过模拟人类处理信息的方式，帮助深度学习模型更加高效地处理大量数据。随着研究的深入，注意力机制在各个领域的应用也将越来越广泛。注意力分数在注意力机制中扮演着关键角色，它决定了模型在处理信息时对不同部分的关注程度。
注意力机制之注意力分数
qq_36136196的博客
09-16 6178
目录注意力分数扩展到高维加性注意力scaled 点积注意力总结代码 注意力分数 注意力分数和注意力权重的区别： 扩展到高维 这里，q的数量和key-value对的数量可以不一致。q,k,v的维度都可以不同，最后得到的结果和v的维度一样。关键在于注意力分数a的设置。 加性注意力 h是超参数。Wk是从k映射到h维，Wq是从q映射到h。q,k,v这三个向量的维度可以不一样 scaled 点积注意力 q,k都是相同的维度，这里除以d还是为了减少输入长度的影响（类似于归一化） 有多个query，这里，每一行表示
深度学习——注意力分数（笔记+代码）
jbkjhji的博客
02-09 2267
③假设query和key的所有元素都是独立的随机变量，并且都满足零均值和单位方差，那么两个向量的点积的均值为0，方差为d。（除以根号d的目的是为了降低对ki的长度的敏感度，使得 无论向量的长度如何，点积的方差都在不考虑向量长度情况下是1）①假设query是一个长为q的向量，ki是长为k的向量，vi是长为v的向量。①注意力分数是query和key的相似度，注意力权重是注意力分数的softmax的结果（0到1之间的数）①α（x,xi）：注意力权重，权重是一组大于等于0，相加和为1的数。
动手学深度学习（四十七）——注意力分数
Liu Feng's Blog
02-19 3772
文章目录一、注意力评分函数二、注意力分数高维拓展1. 可加性注意力2. 缩放的“点－积”注意力三、总结 一、注意力评分函数 f(x)=∑i=1nα(x,xi)yi=∑i=1nexp⁡(−12(x−xi)2)∑j=1nexp⁡(−12(x−xj)2)yi=∑i=1nsoftmax(−12(x−xi)2)yi.(1-1)\begin{aligned} f(x) &=\sum_{i=1}^n \alpha(x, x_i) y_i\\ &= \sum_{i=1}^n \frac{\exp\left(
1.注意力机制
ReallySongziyang的博客
09-26 1887
注意力机制，加性注意力，缩放点积注意力
李宏毅深度学习笔记——呕心整理版
Red_Elf的博客
12-06 9830
机器学习就是寻找一个复杂函数。深度学习的函数就是类神经网络。
深度学习笔记之Transformer(一)注意力机制基本介绍
静静的学习就好
06-14 1883
从本节开始，将介绍Transformer模型。本节将介绍注意力机制的基本逻辑。
一文彻底搞懂深度学习：注意力机制（Attention Mechanism）
热门推荐
star_nwe的博客
11-07 3万+
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
跟李沐学AI：注意力机制、注意力分数
Landy_Jay的博客
09-22 1230
心理学认为人通过随意线索和不随意线索选择注意点。注意力机制中通过query（随意线索）和key（不随意线索）来偏向性地选择输入。一般可写作：。其中是注意力权重。注意力分数是query和key的相似度，注意力权重是注意力分数softmax后的结果注意力分数分为加性模型和点积模型。
一文彻底搞懂深度学习 - 注意力机制（Attention Mechanism）
最新发布
2401_85373898的博客
11-08 754
在深度学习中，注意力机制模仿了人类在处理信息时的选择性关注能力**，允许模型在处理输入数据时动态地调整其注意力权重，从而突出重要信息并忽略不重要的信息。****注意力机制通过计算****查询向量（Query）、键向量（Key）之间的相似度来确定注意力权重，然后对值向量（Value）**进行加权求和，得到最终的输出。Attention Mechanism一、注意力机制什么是注意力机制**（Attention Mechanism）？注意力机制是一种允许模型在处理信息时专注于关键部分，忽略不相关信息****，从而
一篇了解NLP中的注意力机制
数智物语
03-20 9830
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。 转自 | AI小白入门（公众号ID: StudyForAI） 作者 | yuquanle，985在读硕士，目前研究方向为自然语言处理 00 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意...
自然语言处理 | (26) 注意力(Attention)机制总结
sdu_hao的博客
03-06 1万+
原文地址 目录 1. 前言 2. Seq2Seq 模型 3. NLP中注意力机制起源 4. NLP中的注意力机制 5. Hierarchical Attention 6. Attention机制的本质 7. Self-Attention 8. Memory-based Attention 9. Soft/Hard Attention 10. Global/Local Att...
【动手学深度学习v2】注意力机制—1 注意力评分函数
weixin_43650171的博客
08-24 1069
注意力机制——注意力评分函数
图解注意力机制
truth_01的博客
09-17 3384
数十年以来，统计机器翻译（Statistical Machine Translation）在翻译模型中占统治地位，直到出现神经机器翻译（Neural Machine Translate,NMT）。NMT是一种新兴机器翻译方法，意图构建和训练一种大型神经网络，输入原语言文本（source），输出目标翻译文本（target）。 NMT最初是由Kalchbrenner and Blunsom(2013...
注意力机制
qq_36575363的博客
11-25 2361
本文用几张动图形象地解释了注意力机制，还分享了过去 5 年中出现的 4 个 NMT 架构，对文中出现的一些概念也进行了直观解释。 几十年来，统计机器翻译在翻译模型中一直占主导地位 [9]，直到神经机器翻译（NMT）出现。NMT 是一种新兴的机器翻译方法，它试图构建和训练单个大型神经网络，该网络读取输入文本并输出译文 [1]。 NMT 的最初开拓性研究来自 Kalchbrenner 和 Blunsom (2013)、Sutskever 等人 (2014) 和 Cho. 等人...
注意力机制——注意力评分函数（代码+详解）
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
不用看数学公式！图解谷歌神经机器翻译核心部分：注意力机制
量子位
02-10 1442
乾明 编译整理量子位 出品 | 公众号 QbitAI注意力（Attention）机制，是神经机器翻译模型中非常重要的一环，直接影响了翻译的准确度与否。可以这么说，没有注意...
人工智能学习资料精选：机器学习与深度学习笔记汇总
同时，对于现代图像识别任务而言，还可能涉及目标检测（如YOLO、SSD、Faster R-CNN）、图像分割（如U-Net、Mask R-CNN）、注意力机制（如SE模块、CBAM）以及Transformer在视觉中的应用（如ViT、Swin Transformer）。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值