初识Transformer

最新推荐文章于 2025-01-05 10:00:00 发布
最新推荐文章于 2025-01-05 10:00:00 发布
阅读量634 收藏 2
点赞数
分类专栏： nlp 文章标签： transformer 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MusicDancing/article/details/121143932
版权

参考：【NLP】Transformer模型原理详解 - 知乎

             从RNN到“只要注意力”——Transformer模型 - 知乎

        Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention的模型。之后google又提出了解决Seq2Seq问题的Transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。

Attention原理：

NLP中的Attention原理和源码解析 - 知乎

从RNN到“只要注意力”——Transformer模型 - 知乎

1. 模型结构

 和大多数seq2seq模型一样，transformer也是由encoder和decoder组成。

        其中，解码器的输入output（shifted right）是指目标句子，但被mask掉未来的token，也就是mask矩阵的右上角都不可见。（这个结构是做翻译任务，目标句子相当于ground truth）。

        在训练时，解码器的输入是按照目标词进行监督的，这里是有问题的，叫exposure bias，有不少研究是解决这块。

        output的embedding与input一样，是两个向量（词/字向量+位置向量）的和，看了一下文章词/字embedding是自己学来的，在训练时更新，而且output和input的embedding权重是一样的，也就是在input中如果把“我”embedding成(0,1)向量，那output中的“我”也是(0,1)。

        encoder的output是source sentence的编码，不需要再经过embedding，直接输入的decoder，需要过embedding的是target sentence，只在训练时有，因为在训练decoder时，0到t-1步都需要用ground truth，而预测时不需要ground truth。

1.1 Encoder

        Encoder由6个相同的layer组成（上图左侧的单元），即“Nx”为6。每个Layer由两个sub-layer组成，分别是multi-head self-attention mech

最低0.47元/天 解锁文章
ChatGPT基础知识系列之ChatGPT初识
03-25 4万+
Chat GPT源于OpenAI公司创造的一个大型语言预处理程序，名为GPT-2，GPT(Generative Pre-trained Transformer)是一个基于transformer架构的预训练语言模型，它是通过使用海量文本数据训练而成的可以自动产生文本序列的语言模型，能够生成高质量的自然语言文本。总结来说Chat GPT的技术细节主要包括基于GPT模型的神经网络架构、来自公共聊天文本数据的数据集基础和使用预训练模型进行迁移学习的模型训练方法。Chat GPT模型基于深度学习神经网络的架构。
Transformer中“shifted right”是什么；Transformer模型的解码器底部的输出（output）是什么；在第一次解码器没有输出，使用 标签
ZJQ的博客
12-05 561
在Transformer的解码器中，模型需要逐个生成目标序列的单词。为了实现这一点，模型在每一步的输入中不仅包括编码器的输出，还包括之前已经生成的输出序列，但是这个序列会被整体右移一位。这样做的目的是为了在预测下一个单词时，模型只能看到之前生成的单词，而不能看到未来的单词。
轻松理解 Transformers (4) ：Decoder 和 Output 部分
Baihai_IDP的博客
11-13 552
文章首先指出，Transformers属于编码器-解码器架构，输入数据通过编码器转换为数学表征，再输入解码器生成最终输出。接着又以Teacher Forcing为线索，剖析了带Mask的Decoder是如何基于Encoder 的输出，一步步生成目标语言的。在描述每个组件的作用时，作者都会补充通俗的示例或类比，帮助读者更好地理解 Transformers 。
【DL】第 7 章 ：用于音乐生成的Transformers和 MuseGAN
sikh_0529的博客
03-08 3749
喜欢与所有 GAN 相比，MuseGAN 由一个生成器和一个评论家组成。生成器试图用它的音乐创作来愚弄评论家，而评论家则试图通过确保它能够分辨出生成器伪造的巴赫合唱曲与真实作品之间的区别来防止这种情况发生。MuseGAN 的不同之处在于，生成器不仅接受单个噪声向量作为输入，而是有四个独立的输入，对应于故事中管弦乐队的四个部分——和弦、风格、旋律和槽。通过独立操作这些输入中的每一个，我们可以更改生成音乐的高级属性。图7.14 显示了生成器的高级视图。图7.14 MuseGAN 生成器的高级图。
Music Transformer pytorch代码
weixin_42155801的博客
05-31 1172
小菜鸡的记录，如有错误，请指出。 代码地址：https://github.com/jason9693/MusicTransformer-pytorch 0.配置环境 pip install pretty_midi pip install tensorboardX pip install progress 1.Repository setting $ git clone https://github.com/jason9693/MusicTransformer-pytorch.git $ cd MusicTr
Transformer - Outputs(Shifted Right)
二分掌柜的
04-03 2898
Transformer
【学习笔记】transformer是什么？专给非计算机专业看的超直观解读
Yurakucho的博客
04-18 1129
如此，可以将五个单词，”马“，”狗“，”蜗牛“，”“苹果”，“红色”，分类成：马[1,1,1,1]，狗[1,1,1,0]，蜗牛[1,1,0,0]，苹果[1,0,0,1]，红色[0,0,0,1]。最后，加入一个单层的全连接神经网络，其输入形状仍然为(batch_size, seq_leng, hidden_size)（注意我们上面提到的注意力、add&norm，feed forward等层都没有改变输入的形状，因此到这里还是这个形状），输出是一个维度为dim_V的向量，”一个“的含义是模型每步只下。
初识Transformer之Attention is all you need
qq_43173239的博客
02-04 1622
文章目录前言一、初识ransformer从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结二、Attention is all you need 翻译1 简介2 背景3 模型架构3.1 编码器和解码器堆栈3.2 Attention3.2.1 缩放的点积attention3.2.2 Multi-Head Attention3.2.3 Applications o.
初识XLNet模型：解析自然语言处理中的Transformer技术
随着Transformer技术的应用，NLP领域取得了巨大的突破。本文将介绍一种新兴的NLP模型——XLNet模型，探讨其原理、架构、优势以及在自然语言处理中的应用。通过对XLNet模型的深入解析，有助于读者更全面、深入地了解...
零基础入门多模态学习PPT
12-29
内容概要：本文档是一份面向零基础的学习笔记，详细介绍了多模态模型的基础理论和技术要点，主要包括以下几个方面：初识Transformer和NLP基础，深入讲解Vision Transformer (ViT)的工作原理及其代码实现；...
结合源码的Transformer全网最全面、最深度的解析
Xu_Wave
04-22 9214
禁止一切任何形式的转载 结合源码的Transformer全网最全面、最深度的解析
Attention Is All You Need，Transformer代码实现
shazam886的博客
02-25 1511
这篇论文很早就读过，当时只是简单了解了下其原理，但真正动手实现时还是能发现不少不能忽略的细节问题，这里不说明原理（原理都在文献上），只注重实现。 架构 上图便是Transformer的架构，可以看到，它可以分为三个部分，encoder，decoder和Linear projection。encoder又可以分为三个部分：词向量编码，位置编码，多头注意力层和前馈神经网络层（这里做一个部分）。decoder相比encoder多了一个Masked的注意力层，其余和encoder的结构一样。如下图所示 .
通过这样分析，我读懂了Transformer架构的输出层
最新发布
老皮的博客
01-05 1273
输出层是Transformer框架的最后一部分，负责生成最终的输出序列。输出层对于Transformer框架有以下几点需要大家记住：1. 生成输出序列：输出层负责将输入向量转换为输出序列，这是Transformer框架的最终目标。2. 实现序列转换：输出层实现了序列转换的功能，将输入序列转换为输出序列，这是Transformer框架的核心功能。3. 控制输出维度：输出层可以控制输出维度，确保输出序列的维度与预期一致。
神经网络算法: 一文搞懂 Transformer
2401_84033492的博客
04-02 2934
本文将从 Transformer 的本质、Transformer 的原理、Transformer 架构改进三个方面，带您一文搞懂 Transformer。
Transformer学习笔记
刚好的博客
05-06 4582
模型架构图 Transformer用于自然语言处理（NLP）中的机器翻译模型。 Transformer是典型的编码器-解码器架构。 encoder 将 （x1, x2, … , xn）（原始输入） 映射成 （z1, z2, …, zn）（机器可以理解的向量） 例如：一个句子有 n 个词，xt 是第 t 个词，zt 是第 t 个词的向量表示。 decoder 拿到 encoder 的输出，会生成一个长为 m 的序列（y1, y2, … , ym）。 m和n可以一样长可以不一样。 编码器和解码器的区别： 编码
Transformer
weixin_46260468的博客
01-09 296
Transformer: Attention is All You Need!
机器学习LLM（5）--- 句子训练的decoder的逻辑及背后的思想
talentyiyy的专栏
06-13 295
Attention只是decoder与encoder中比较重要的一环。从LLM(4)中，可以看到他结合encoder输出的(64,27,1024)也就是 (batch_size, max_sentense_length, coding_units)，与第一次encoder产生的(64, 1024), 因为第一次产生前没有数据，是批量句子的第一个单词序列组，只能来自encoder的输出以及后续每次decoder更新后的中间变量(64, 1024)，其实就是 (batch_size, coding_uni
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 6178
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
transformers5--t5模型中encoder与decoder内容不同解读
小姑仔的博客
11-26 7961
t5模型中encoder与decoder内容不同查看transformers库之中的encoder和decoder部分内容的不同查看没有key_value_states以及query_length的情况下，T5Attention模型的调用过程 查看transformers库之中的encoder和decoder部分内容的不同 仔细观察发现，t5selfattention和t5crossattention的区别在于t5crossattention之中多加入了两个参数 t5selfattention的内容 sel
什么时候用transformer
07-29
回答: Transformer最初是在2017年由Google提出的，最初主要应用于自然语言处理（NLP）领域，如翻译和文本分类。其中BERT就是一个使用了Transformer的模型。随着技术的发展，Transformer逐渐开始应用于计算机视觉领域。虽然CNN卷积神经网络一直是主流技术，但Transformer的出现为计算机视觉领域带来了新的可能性，克服了CNN的一些局限性。因此，当你需要在NLP或计算机视觉任务中处理文本或图像时，可以考虑使用Transformer。\[2\] #### 引用[.reference_title] - *1* *3* [【Transformers】预训练模型使用工具Transformer(1)：初识Hugging Face](https://blog.youkuaiyun.com/meiqi0538/article/details/126567091)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [一起了解Transformer](https://blog.youkuaiyun.com/weixin_40586929/article/details/113029094)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值