Transformer总结

最新推荐文章于 2024-07-21 04:47:58 发布
最新推荐文章于 2024-07-21 04:47:58 发布
阅读量384 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 思维导图-Transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AmuSX/article/details/88929462
这是一个根据网上资料总结的Transformer思维导图，作者根据个人理解绘制，可能存在不足之处，欢迎大家提出宝贵意见。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这是根据网上对Transformer的经验贴自己总结的Transformer思维导图，根据自己的理解画成的，可能存在一些错误，欢迎批评指正。
Transformer总结思维导图
链接：https://pan.baidu.com/s/1lhZhRK-nmIEtOSXqpPDTvQ
提取码：gmtt

AmuSX
关注
Transformer 笔记总结
qq_40212975的博客
07-02 428
transformer这一概念来自于原文attention is all you need 在机器翻译中，输入是一个句子，输出是另一种语言的句子，如下图所示： 即由编码组件、解码组件以及连接层构成，如下图所示： 其中编码器由6个编码器单元构成，解码器由6个解码器单元构成，如下图所示： 其中，编码器单元结构完全相同，但是不共享参数，由self-attention和feedforward组成，self-attention的输出流向一个前向网络，每个输入位置对应的前向网络是独立互不干扰的。如下图左部分所示，
Transformer学习总结——原理篇
01-27
首先从整体上看一下Transformer的结构：从图中可以看出，整体上Transformer由四部分组成：Inputs:Inputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=WordEmbedding(Inputs)+PositionalEmbeddingOutputs:Ouputs=WordEmbedding(Outputs)+PositionalEmbeddingOuputs=WordEmbedding(Output
一篇非常好的transformer年度总结
zandaoguang的博客
03-30 207
作者：Xavier Amatriain翻译: 炼丹小生（炼丹笔记）很多人的“记忆”并没那么好,特别是对名字.这些年各种各样的transformer涌现出来,各有各的优势,但是他们的名字却不能直白的看出该版本的transformer到底做了什么.这篇的目的就是把所有流行的transformer进行清晰简单的分类,以便大家对transformer家族快速梳理简介Transfo...
Transformer总结和梳理
一步一脚印
11-20 3010
首先来看一下Transformer结构的结构：Transformer是由Encoder和Decoder两大部分组成，首先我们先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构。
Transformer总结(2022版)
炼丹笔记
03-28 1577
作者：Xavier Amatriain 翻译: 炼丹小生 很多人的“记忆”并没那么好,特别是对名字.这些年各种各样的transformer涌现出来,各有各的优势,但是他们的名字却不能直白的看出该版本的transformer到底做了什么.这篇的目的就是把所有流行的transformer进行清晰简单的分类,以便大家对transformer家族快速梳理。Transformer是什么就不用多说了,201...
Transformer总结-附件资源
03-05
Transformer总结-附件资源
Vision Transformer 总结
weixin_52668444的博客
04-24 558
Transformer 简单总结和理解
Transformer系列总结
qq_44815135的博客
07-21 1209
Transformer 结构完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。
transformer学习总结
qq_41360255的博客
02-16 864
Self-Attention
Transformer总结(一)：基础介绍（注意力机制、自注意力机制、位置编码、多头注意力机制）
qq_52441682的博客
05-02 1381
结合代码和图像，对注意力机制、自注意力机制、位置编码、多头注意力机制做了一些基础介绍；内容主要源于李沐老师和李宏毅老师，补充了一些个人理解
transformer总结笔记
irony_202的博客
03-25 625
1.输入先经过一个全连接的嵌入层，变成一个维度设定好的向量，经过编码器/解码器，每个向量都会由自注意力机制经过一个线性投影层（多头自注意力会将向量的维度拆分，每个头注意一部分的维度，最后将每个头的输出再合并）产生为3个向量，即querry（查询）、key（和查询相乘得到相似度）、value。每个querry去乘所有的key，分别得到和其他key的相似度（向量的点乘代表cos），之后将所有的value进行加权和，权重由querry和key的相似度决定（将querry和所有key点乘（当维度过大时，可以除以一个
个人总结transformer
weixin_43374146的博客
11-07 241
宏观视角 输入一种语言，输出另一种语言，怎么转换的就是transfomer做的事情 由 编码组件——>解码组件组成，其中有6个编码组件叠加以及6个解码组件，这六个组件的关系是上一个输出是下一个的输入 编码器分为：自注意力——>编码—解码注意力层——>前馈神经网络 自注意力：帮助编码器在对每个单词编码时关注输入句子的其他单词 编码—解码注意力层： 前馈神经网络：每个位置的单词都对应一个自己的一维卷积神经网络。 翻译的时候每个词都有自己的词向量，512维 ...
Transformer 详细分析，学习总结
qq_41158484的博客
11-15 1614
Transformer深度学习网络的详细分析。Transformer其实就是由融合了注意力机制的编码器和解码器组成，如下图Transformer的总体模型框架。编码器将输入的句子变成机器学习可以理解的特征向量，并输入到解码器中作为 Keys 和 Values（解码器就直接根据输入获取query，然后输出结果）。
transformer知识汇总
qq_40817314的博客
10-29 1340
transformer结构是google在2017年的《Attention Is All You Need》论文中提出，在NLP的多个任务上取得了非常好的效果。其最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 《Attention Is All You Need》论文地址：https://arxiv.org/abs/1706.03762 1. Transformer模型的思想 1.1. RNN的缺陷 在没有Transformer以前，大家做神经机器翻译用的最多的是基于
【学习笔记】Transformer详解
Small__明的博客
04-04 5678
transformer详解
【大模型】Transformer知识点详解
酒酿小圆子呀～
05-21 831
Transformer 模型中的注意力层提供了处理序列数据的强大能力，自注意力机制允许输入序列的每个位置都能接收到来自序列中其他所有位置的信息，这种机制可以被视为输入序列内部的全连接层。Transformer模型通过使用多头注意力机制来增强模型的能力。简单来说，多头注意力就是并行运行多个自注意力机制，每个机制关注输入的不同部分。通过这种方式，模型可以在不同的表示子空间中学习到输入之间的不同的依赖关系。在实际操作中，每个头的输出会被拼接起来，并通过一个线性层来整合信息。
transformer总结和展望
最新发布
03-19
### Transformer模型综述 Transformer 是一种基于自注意力机制（Self-Attention Mechanism）的深度学习架构，最初由 Vaswani 等人在 2017 年提出[^4]。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），转而采用完全依赖于注意力机制的设计思路，从而实现了并行化训练的能力，大幅提高了计算效率。 #### 主要特点 - **自注意力机制**：允许模型在同一序列的不同位置之间建立联系，捕捉全局上下文信息。 - **编码器-解码器结构**：Transformer 的核心框架分为编码器（Encoder）和解码器（Decoder）。编码器负责提取输入数据的特征表示，解码器则用于生成目标序列。 - **高效性与扩展性**：由于其高度并行化的特性，Transformer 能够轻松处理大规模语料库，并支持参数量的增长以提升性能。 随着研究深入和技术进步，一系列改进版 Transformer 架构相继问世，例如 BERT、GPT 和 T5 等预训练语言模型。这些模型在自然语言处理任务上取得了卓越成果，同时也推动了多模态应用的发展[^3]。 --- ### Transformer 模型未来发展趋势 #### 结构优化 为了降低资源消耗并保持高性能表现，研究人员正在探索更高效的 Transformer 变体。其中包括但不限于稀疏注意力机制、线性化注意力以及动态长度调整策略等方法[^1]。 #### 多模态融合 当前单模态 AI 已经趋于成熟，但真实世界的场景往往涉及视觉、听觉等多种感官协同工作。因此，开发具备跨媒体感知能力的大规模预训练模型成为必然选择之一。此类模型可以通过联合建模图像、视频、音频乃至文本等形式的内容来增强表达能力和泛化水平。 #### 提升效率的方法 除了直接修改原有体系外，还有几种途径可用于加速现有方案或者减少存储需求： - 权重共享：通过让不同层间共用部分权重矩阵实现压缩效果； - 量化/混合精度：利用低比特数浮点运算代替高精度版本，在几乎不影响质量的前提下节省内存占用； - 知识蒸馏：将复杂教师网络的知识迁移到较轻便的学生版本里完成部署； - NAS (Neural Architecture Search): 自动寻找最佳超参配置组合达到最优性价比平衡状态； - Task Adapter: 对特定应用场景定制专属插件模块以便快速适配新业务需求[^2]。 #### 面临的主要挑战 尽管前景广阔，但在实际落地过程中仍存在不少难题亟待解决。比如如何有效控制成本的同时维持良好的用户体验；怎样保障隐私安全不被泄露等问题都需要引起高度重视。 ```python import torch from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') input_text = "This is an example sentence." tokens = tokenizer(input_text, return_tensors="pt") outputs = model(**tokens) print(outputs.last_hidden_state.shape) # 输出最后一层隐藏状态维度大小 ``` 上述代码展示了加载 Hugging Face 中预先训练好的 BERT 模型及其分词工具的过程，并演示了一个简单的前向传播操作。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值