【minGPT】注意力模块

原创 已于 2023-01-30 18:41:00 修改 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2023-01-05 13:23:32 首次发布
文章介绍了注意力机制的概念，将其比作人类看图时的聚焦过程。自注意力机制用于发现信息内部的关联，而多头自注意力则通过多个角度对信息进行解构和重组。文章还提供了因果自注意力的背景，解释了其在生成模型中的作用。最后，通过一个CausalSelfAttention类的代码示例展示了如何在实践中实现自注意力机制。

1 理论理解

1.1 注意力机制(Attention)

注意力机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看图片的全部内容，而是将注意力集中在了图片的焦点上。用上了注意力机制，信息(如下面的图片)就不在单纯是信息本身，而是附加了焦点。

1.2 注意力机制的实现

运用注意力机制处理信息就是将信息和关注的维度点乘，或者说将信息投影到关注的维度。比如一件商品有质量，价格，颜色，外形，生产商，发货地点等信息，但是你特别关注商品的价格，那么所有商品的所有信息投影到你的需求上，基本只有价格影响你买还是不买。

最低0.47元/天 解锁文章
Transformer原理及知识体系大纲
互联网架构师笔记
04-06 710
Transformer原理以及通过案例讲解，包括 1. Transformer架构通过输入文本，预测下一个字的概率，实现自然语言处理任务。
【YOLOv8改进 - 注意力机制】Focused Linear Attention :全新的聚焦线性注意力模块
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-16 1376
自注意力的二次计算复杂性在将Transformer模型应用于视觉任务时一直是一个持久的挑战。相比之下，线性注意力通过精心设计的映射函数来近似Softmax操作，提供了更高效的替代方案，其计算复杂性为线性。然而，目前的线性注意力方法要么遭受显著的性能下降，要么因映射函数引入了额外的计算开销。在本文中，我们提出了一种新颖的聚焦线性注意力模块，以实现高效率和高表现力。具体来说，我们首先从聚焦能力和特征多样性两个角度分析了线性注意力性能下降的因素。
Causal Attention论文详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-17 9111
Causal Attention论文是一篇因果推断(causal inference)和注意力(attention)结合的一篇文章，主要用在视觉和文本结合的领域，如VQA(Visual Question Answering)视觉问答。 VQA(Visual Question Answering)视觉问答的一个基本流程如下，对输入图进行self-attn编程得到K和V的向量，从文本得到Q的向量进行Attn计算，得到填空的结果(riding)。这个过程可以看成是一个因果推断的过程.
因果多头自注意力(Causal-MultiHead-SelfAttention)代码
weixin_50232758的博客
04-08 786
使用下三角矩阵进行mask。
Modded-NanoGPT源码解读：CausalSelfAttention模块实现细节
最新发布
gitblog_01067的博客
10-15 267
Modded-NanoGPT作为GitHub热门的GPT优化项目，通过创新性的模块设计实现了"124M参数模型达到5B tokens训练效果"的突破。其中CausalSelfAttention模块作为核心组件，融合了多种优化策略与工程实践，本文将从源码层面深度解析其实现细节。 ## 模块整体架构 CausalSelfAttention模块在项目中主要有三个实现版本，分别位于[train_gpt...
因果学习篇(2)-Causal Attention for Vision-Language Tasks（文献阅读）
chenzhiwen1998的博客
03-06 3913
一篇由南洋理工大学和澳大利亚莫纳什大学联合发表自2021年的CVPR顶会上的一篇文献，提出了一种新的注意力机制：因果注意力(CATT)，使用因果推断中的“前门准则”解决训练数据中存在的虚假相关性，刨析了注意力机制在推理过程中的因果原理，在提高模型性能的前提下，加强了模型的可解释性，打开了神经网络的黑匣子，具有非常好的参考意义。
NLP（九）Attention
CoSword
05-28 437
Attention模块需要使用keras的自定义写法 简要的说Attention模块时将n个时刻的LSTM输出结合算出一个向量输入到下一个RNN中 自己之前在看恩达的课程的时候，画了张图 class AttentionLayer(Layer): def __init__(self, **kwargs): self.init = initializations.get('no...
Self-attention（自注意力机制）、Transformer
zhanghongbin159的博客
04-27 1984
文章根据李宏毅老师的视频讲解总结而成。本文，主要讲解了自注意力机制，以及著名的Transformer模型。
第四十七篇 Vision Transformer（VIT）模型解析
m0_47867638的博客
12-10 1126
ViT（Vision Transformer）模型是一种基于Transformer架构的视觉模型，它成功地将Transformer从自然语言处理（NLP）领域引入到计算机视觉（CV）领域，专门用于处理图像数据。以下是对ViT模型的详细解析：ViT模型主要由三个部分组成：图像特征嵌入模块、Transformer编码器模块和MLP（多层感知机）分类模块。多头注意力（Multi-Head Attention）模块，类似它是深度学习特别是自然语言处理和视觉任务中Transformer架构的核心组件。下面是对这个类的
Python_OpenAI GPT生成预训练变压器训练的最小PyTorch重新实现.zip
05-23
2. **构建模型**：GPT模型主要由编码器和解码器两部分组成，其中编码器由多层自注意力层和前馈神经网络构成，解码器则在此基础上增加了一个遮蔽层，防止当前位置看到未来位置的信息。在PyTorch中，我们可以使用`nn....
CMU 10423 Generative AI：HW1（编程部分：在GPT-2模型中实现RoPE、GQA）
不精，不诚，不足以动人
09-13 1708
1在“Programming: RoPE and GQA”部分，主要任务是通过结合RoPE（旋转位置嵌入）和GQA（Grouped Query Attention，分组查询注意力）这两种机制，改进现有的GPT模型，并观察这些改进对模型性能的影响。以下是对RoPE和GQA的介绍：RoPE是一种相对位置嵌入方法，用来取代传统的绝对位置嵌入。在传统Transformer中，位置信息通过将位置嵌入直接加到输入的词向量中进行传播。而RoPE直接在每一层注意力计算中引入相对位置信息，旋转每个查询和键向量的一部分来嵌入这
自注意力模块
ermzdy2的博客
03-10 1029
这个模块接受输入张量 x，大小为 [batch_size, seq_len, embed_dim]，其中 batch_size 表示批量大小，seq_len 表示序列长度，embed_dim 表示嵌入维度。模块输出大小相同的张量，表示输入的自注意力表示。将输入张量划分为 num_heads 个头，每个头大小为 head_dim = embed_dim / num_heads。对于每个头，计算注意力分数（点积注意力）并将其归一化为注意力权重。对于每个头，将注意力权重应用于值，然后将每个头的输出合。
Self-Attention 自注意力机制
c___c18的博客
06-11 3438
下图中简单介绍了RNN和self-attention的机制区别，首先是第一个区别就是，在下图中最后面的黄色的输出值在RNN中很难去考虑第一个的RNN的输入(当然双向的RNN也是可以实现的，或者改进的RNN，如LSTM)，而在self-attention中是很容易去实现的。下面这张图片表示了在不同数据集上的效果图，发现，在数据集不大的情况下，CNN的效果是优于self- attention的，反之CNN的效果会差一些。如上图所示，就是在计算完成qi的时候，再去对应相乘两个不同的矩阵，这样就得到了新的向量。
Transformer 模型介绍（三）——自注意力机制 Self-Attention
金陵城中夜将沉的博客
02-15 3815
在本篇文章中，我们将逐步深入探讨 Transformer 模型的架构，以机器翻译任务为例，输入是一种语言的句子，输出是另一种语言的句子。我们将从整体架构入手，逐步拆解模型的各个组件
自注意力机制Self-attention（1）
爱学习爱运动的专栏
12-23 1470
本文是对李宏毅老师的课程进行了整理。 视频地址为： https://www.bilibili.com/video/BV1Wv411h7kN?p=23 1 问题引入 问：为什么要引入自注意力机制？ 答：输入一个向量，经过Model预测后得到一个分类结果/数值型结果；然而当输入一组向量呢，经过Model预测后有三种可能的输出，第一种输出是一个分类结果/数值型结果，第二种输出是每个向量输出一个分类结果/数值型结果（有多少个输入向量，就有多少个分类结果），第三种输出是多种分类结果/数值型结果（输入向量个数和输出分
自注意力机制-------通道注意力-----------压缩激活模块
weixin_42268880的博客
10-14 1825
自注意力机制-------通道注意力-----------压缩激活模块 参考文献(CVRP) https://arxiv.org/pdf/1709.01507.pdf Squeeze-and-Excitation Block：
YOLO11改进-模块-双域带状注意力机制DSAM ，增强图像细节特征以及多尺度小目标检测精度
qq_64693987的博客
03-18 3194
DSAM 基于双域学习理论，通过空间和频率两个域的信息融合，增强图像特征表示。在空间域，SSA 利用简单卷积分支生成注意力权重，聚合相邻位置信息；在频率域，FSA 通过带状平均池化分离频率成分，用轻量级注意力参数调制，减少清晰和退化图像对之间的频率差距。此外，DSAM 应用不同带状大小进行多尺度学习，以更好地处理各种尺寸的退化。DSAM 被应用于 DSANet 网络中，该网络采用流行的编码器 - 解码器架构。
【CV中的Attention机制】模块梳理合集
pprp的博客
02-16 1932
文章目录0. 总述1. SENet(CVPR18)2. SKNet(CVPR19)3. CBAM(ECCV18)&BAM(BMVC18)&scSE(MICCAI18)4. Non-Local Network(CVPR19)5. GCNet(ICCVW19)6. CCNet(ICCV19)7. Shuffle Attention(ICASSP21)8. ECANet(CVPR20)9. SGENet(CoRR19)10. GSoPNet(CVPR19)11. FCANet(CoRR20)12.
CVPR2021| 继SE,CBAM后的一种新的注意力机制:坐标注意力机制（Coordinate Attention）
热门推荐
weixin_43980331的博客
09-09 1万+
利用两个1D全局池化操作将沿垂直和水平方向的input features分别聚合为两个单独的direction-aware feature maps。 然后将具有嵌入的特定方向信息的这两个特征图分别编码为两个attention map，每个attention map都沿一个空间方向捕获输入特征图的远距离依存关系。 位置信息因此可以被保存在所生成的attention map中。 然后通过乘法将两个attention map都应用于input feature maps，以强调注意区域的表示。
mingpt用法
06-02
Mingpt 是一个基于 PyTorch 的 GPT 模型库，可以用于生成文本、文本分类等任务。下面是使用 mingpt 进行文本生成的简单示例： 1. 安装 mingpt：`pip install mingpt` 2. 导入必要的包： ```python import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader from mingpt.utils import set_seed from mingpt.trainer import Trainer, TrainerConfig from mingpt.model import GPT, GPTConfig ``` 3. 准备数据集，这里以生成一个简单的文本数据集为例： ```python data = "hello world" idx2char = list(set(data)) char2idx = {ch:i for i, ch in enumerate(idx2char)} data = [char2idx[ch] for ch in data] ``` 4. 定义数据集和数据加载器： ```python class CharDataset(Dataset): def __init__(self, data, seq_len): self.data = data self.seq_len = seq_len def __len__(self): return len(self.data) - self.seq_len def __getitem__(self, idx): return torch.tensor(self.data[idx:idx+self.seq_len]) batch_size = 1 seq_len = 3 dataset = CharDataset(data, seq_len) loader = DataLoader(dataset, batch_size=batch_size, shuffle=True) ``` 5. 定义 GPT 模型和训练器： ```python set_seed(42) n_vocab = len(idx2char) config = GPTConfig(n_vocab=n_vocab, n_ctx=seq_len) model = GPT(config) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters()) trainer_config = TrainerConfig(max_epochs=100) trainer = Trainer(model, criterion, optimizer, loader, loader, trainer_config) ``` 6. 训练模型： ```python trainer.train() ``` 7. 生成新的文本： ```python model.eval() input = torch.tensor([char2idx['h'], char2idx['e'], char2idx['l']]).unsqueeze(0) output = model.generate(input, seq_len) new_text = ''.join([idx2char[idx] for idx in output[0]]) print(new_text) ``` 输出结果可能是：`hello worl`，表示生成了一个新的文本。 以上是 mingpt 的简单用法，更多高级用法可以参考官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值