[李宏毅老师深度学习视频] 自注意力机制 self-attention【手写笔记】

最新推荐文章于 2025-05-13 13:20:39 发布
最新推荐文章于 2025-05-13 13:20:39 发布
阅读量615 收藏 1
点赞数 2
分类专栏： 学习ML+DL 文章标签： 深度学习 人工智能 自注意力机制 self-attention 李宏毅
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42198265/article/details/126349359
版权

此笔记来源于李宏毅老师的机器学习视频，以下属于自己的理解以及老师上课的内容，由于公式过多，不便于直接打字，故用手写笔记替代。

Github的链接（pdf）：https://github.com/Bessie-Lee/Deep-Learning-Recodes-LiHongyi

本文讲述的是自注意力机制的内部矩阵运算细节以及自注意力机制可以运用的领域（CV、NLP、Grape），最后将自注意力机制与CNN、RNN进行对比（self-attention可以进行并行运算用GPU加速，而RNN不可）

下文即手写笔记
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意力机制下的手写字体的识别
matlab_python22的博客
06-29 622
9729999899864197 0.972000002861023 0.9764999747276306 0.9754999876022339 0.9729999899864197 0.9779999852180481 0.9725000262260437 0.9754999876022339 0.9764999747276306 0.9794999957084656 0.9800000190734863 0.9764999747276306
【NLP】huggingface阶段性学习小结
发现问题，并解决问题，批判性思维
10-24 2066
文章目录一、资源推荐二、菜鸡笔记三、小结四、下一阶段五、特别鸣谢 一、资源推荐 （1）牛逼的huggingface：https://huggingface.co/transformers/preprocessing.html （2）读论文，如ACL会议论文：https://aclanthology.org/ （3）进击的BERT：https://leemeng.tw/attack_on_bert_transfer_learning_in_nlp.html （4）学习基础后，应该上手项目练习：常见26种NLP
人工智能入门课【手写自注意力机制】
sherlockMa的博客
02-01 1247
总的来说，自注意力机制是一种强大的神经网络架构组件，用于动态地衡量输入序列中不同位置之间的关联程度。它通过计算查询（Query）、键（Key）和值（Value）之间的点积，生成注意力权重，再利用这些权重对值进行加权求和，从而实现对输入数据的全局信息捕捉。这种机制允许模型在处理每个元素时，同时考虑整个序列的信息，有效解决了传统序列模型难以捕捉长距离依赖的问题。自注意力机制的核心优势在于其并行计算能力和对全局信息的高效利用，使其在自然语言处理和计算机视觉等领域得到了广泛应用。
注意力机制SelfAttention和CrossAttention
最新发布
weixin_69032308的博客
05-13 776
自注意力机制和跨注意力机制介绍
self-attention的介绍和代码手写
森宝的博客
05-12 4760
self-Attention的介绍和代码实践
[学肥AI] 手写 Attention 注意力机制 及理解
江南西肥肥-博客
08-16 817
RNN 和 各种变体 RNN 中 LSTM/GRU 都存在一个问题，就是如何解决 长距离信息的感知。RNN 的解决办法是加大 sequence，更长的窗口记得更加久远的信息；LSTM 和 GRU 就是把记忆设置成不同的权重，对重要的信息加大权重。Attention 又是另外一个角度，去解决这个问题。
【视频学习】自注意力机制
weixin_50833696的博客
02-07 155
学习于Self-attention主要用于序列输入（即输入是数量不定的一堆向量），包括语音识别、机器翻译、图等任务考虑Sequence labeling任务， 要求对序列中的每一个输入输出一个label，例如词性标注任务，对一句话中的每一个词标注它的词性。Self-attention的特点就是，它的每一个输出都会考虑整个序列的信息考虑生成b1向量，先找出和a1相关的其他向量，这个相关程度用α表示。
【学习笔记】李宏毅2021春机器学习课程第8.2节：自编码器（二）
Harryline的博客
08-05 1276
文章目录1 用自编码器实现特征解耦2 离散隐变量表示3 用自编码器生成文章摘要4 自编码器的更多应用4.1 Decoder 作为生成器4.2 压缩4.3 异常检测 1 用自编码器实现特征解耦 Auto-Encoder 还有一个有意思的应用：Feature Disentanglement，也就是特征解耦。 那为什么会有 Disentangle 这个议题呢，我们来想想 Auto-Encoder 它在做的事情是什么。 如果是图片的话，Auto-Encoder 就是把一张图片变成一个 Embedding，再把
深度学习自学2.0
咬树羊的博客
03-10 1548
深度学习总结
【NLP】(task2)图解attention+transformer（代码讲解）
发现问题，并解决问题，批判性思维
08-17 3058
学习心得 （1） 文章目录学习心得第1部分：attention一、seq2seq模型二、进一步理解细节2.1 初探RNN2.2 word embedding2.3 RNN机制及其可视化三、Attention 讲解可视化注意力第2部分：transformer一、前言二、从整体宏观来理解 Transformer三、从细节来理解 Transformer3.1 Transformer 的输入3.3 Encoder(编码器)3.3 Self-Attention 整体理解四、Self-Attention 的细节4.1
AI人工智能领域神经网络的基本原理与应用
AI智能探索者的博客
04-28 788
神经网络作为人工智能领域的核心技术之一，在图像识别、自然语言处理、语音识别等众多领域取得了显著的成果。本文的目的是全面深入地介绍神经网络的基本原理和应用，让读者对神经网络有一个系统的认识。范围涵盖了神经网络的基本概念、核心算法、数学模型、实际应用场景以及相关的工具和资源等方面。本文将按照以下结构进行组织：首先介绍神经网络的背景知识，包括目的、读者和结构概述；接着阐述核心概念与联系，通过示意图和流程图展示神经网络的架构；然后讲解核心算法原理和具体操作步骤，给出Python代码示例；
手写多头注意力机制.zip
02-06
自注意力机制
self-attention学习笔记
qq_43114108的博客
07-09 685
记录摸鱼时候的学习笔记–self-attention篇笔记，来源于2021李宏毅机器学习视频中self-attention & transformer课程，小白/transformer初学者可参考使用。
pytorch 手写注意力机制
qq_45870250的博客
03-28 273
注意力机制的论文： Attention is All your need。
手写self-attention的四重境界 self-attention
zenRRan的博客
01-03 141
背景在 AI 相关的面试中，经常会有面试官让写 self-attention，但是因为transformer这篇文章其实包含很多的细节，因此可能面试官对于 self-attention 实现到什么程度是有不同的预期。因此这里想通过写不同版本的 self-attention 实现来达到不同面试官的预期。以此告诉面试官，了解细节，但是出于时间考虑，可能只写了简化版本，如果有时间可以把完整的写出来。...
Self-attention
qq_61094172的博客
03-18 468
Self-attention 然后你Input几个Vector,它就输出几个Vector,比如说你这边Input一个深蓝色的Vector,这边就给你一个另外一个Vector。这边给个浅蓝色,它就给你另外一个Vector,这边输入4个Vector,它就Output 4个Vector。 这4个Vector,他们都是考虑一整个Sequence以后才得到的。 Self-Attention不是只能用一次,你可以叠加很多次。所以可以把Fully-Connected的Network,跟Self-Attent
手写attention
m0_53292725的博客
09-28 747
【代码】手写attention。
使用keras手写layerNormaliztion , attention,self_attention,multi_head_attention代码
MeisterMorxrc的学习小屋
12-02 1233
from keras.models import Model, load_model from keras.layers import Input, BatchNormalization, Activation, Add, Multiply, Dot from keras.layers import Embedding, Permute, Reshape, GaussianNoise from ...
【AI知识】pytorch手写Attention之Self-Attention，Multi-Head-Attention
想买很多漂亮衣服但是买不起的博客
03-21 827
【AI知识】pytorch手写Attention之Self-Attention，Multi-Head-Attention
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Bessie_Lee_gogogo

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值