Transformer

最新推荐文章于 2024-06-20 09:41:36 发布
最新推荐文章于 2024-06-20 09:41:36 发布
阅读量899 收藏 3
点赞数
分类专栏： 机器学习—李宏毅 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39848541/article/details/127102561
版权

Transformer


自注意力模型的问题：

  • 计算自注意力时，没有考虑输入的位置信息，因此无法对序列进行建模
  • 输入向量同时作为计算注意力权重时两个向量以及被加权的向量，导致其不容易学习
  • 只考虑两个输入序列单元之间的关系，无法建模多个输入序列单元之间更复杂的关系
  • 自注意力计算结果互斥，无法同时关注多个输入

就以上问题给出解决方案融合自注意力模型——Transformer

seq2seq

应用

在这里插入图片描述
在这里插入图片描述
各式各样nlp任务都可以用seq2seq来解
（特制化model求解可能效果更好）

在这里插入图片描述在这里插入图片描述在这里插入图片描述

结构

在这里插入图片描述最经典的模型：Transformer

Transformer

一个seq2seq的model

请添加图片描述

请添加图片描述
Transformer 就是一个 Seq2seq (Sequence-to-sequence) 的模型

原理：encoder+decoder

Attention Is All You Need

请添加图片描述

Encoder

Encoder 要做的事情就是给一排向量，输出一排向量，这可利用多种模型实现，如 CNN, RNN 等。Transformer 中的 Encoder 就是用的 Self-attention。

请添加图片描述

encoder里面分成很多个block，每个block都是输入一排向量输出一排向量
每个block里：vector1先做一次self-attention考虑整个seq的信息后输出一组vector2，然后将此组vector2作为输入投入一个全连接层，然后输出一组vector3，作为一个block的输出
PS:有一种network架构——residual connection将输出a再加上原始输入b作为新的vector a+b；然后再将其经过一个layer-norm得到的output才是全连接层的输入，同样也有residual架构（output+=input）+layer norm——residual network中一个block输出

注：Transformer 的Encoder架构不一定要这么设计，此处为原始论文中的架构设计。
还有其他实现方式在这里插入图片描述

Decoder

autoregressive

请添加图片描述下图中，Multi-head Attention其实就是多个Self-Attention结构的结合1。Decoder相比Encoder，在Multi-Head Attention上还加了一个 “Masked”（Masked Self-attention）：decoder是一个一个按顺序产生的，只能考虑左边的信息请添加图片描述目前的Decoder的运行中，机器并不知道什么时候停下来，一直重复操作，如同“词语接龙”：机、器、学、习、惯、… 因此需要增加一个终止符号END来结束执行。请添加图片描述 非自回归 Non-autoregressive (NAT)
请添加图片描述NAT 只需要一次性输入就可以产生整个句子。

Q：如何确定NAT decoder的输出长度？
A1：另外学习出一个分类器，它输入Encoder的input，输出Encoder应该输出的长度
A2：输出一个很长的序列，忽略END标识后的token（如上图）

优点：并行处理，速度快；输出长度可控。
缺点：NAT的表现往往逊色于AT：多模态问题 Multi-modality.

encoder和decoder的连接

请添加图片描述

cross attention 连接encoder和decoder的桥梁，此处有两个输入来自encoder一个来自decoder，此模组运作过程如下图所示
请添加图片描述

训练模型
eg:语音辨识任务，人工标注label
在输入的时候会给Decoder正确答案，这种方式叫做"Teacher Forcing"；使用交叉熵对模型进行评估（越小越好）。

请添加图片描述

测试的时候，Decoder会产生错误的输出，但是训练的时候是完全正确的，这种不一致的现象叫做 Exposure Bias4。可以在训练的时候类似“加入扰动”的方式来解决——scheduled sampling（定时采样），这种方式会影响Transformer的并行化。

beam search

在这里插入图片描述有唯一可能确切答案——beam search
需要创造力，不唯一答案——需要一定随机性
在这里插入图片描述

transformer优缺点

优点

  • transformer可以直接建模输入序列单元之间更长距离的依赖关系，对长序列建模能力更强
  • 可以利用GPU等多核计算设备并行计算transformer块内部的自注意力模型，具有更高的训练速度，而RNN需要逐个计算

缺点

  • 参数量过大：每个transformer块中包括了自注意力模型中输入向量的三个角色映射矩阵，多头机制导致相应参数倍增，引入非线性的多层感知器等，整个模型还需要堆叠多层transformer块，参数量成倍扩大

  • 巨大的参数量导致模型训练难度大，尤其是训练数据较小时

    因此为了降低模型训练难度，基于大规模数据的预训练模型应运而生，只有这样才能发挥transformer模型强大的表示能力——bert

模型表示

基于pytorch实现的

[Transformer.ipynb](http://localhost:8888/notebooks/pre-trained model approach NLP/Transformer.ipynb)

Seq2Seq模型与Transformer模型差异
ZJQ的博客
12-03 195
综上所述，Transformer模型在处理序列到序列任务时，相较于传统的Seq2Seq模型，提供了更高效的并行处理能力、更强的建模长距离依赖的能力，以及更灵活的预训练和微调框架。：最初的Transformer模型包含编码器和解码器两部分，类似于Seq2Seq模型，但使用了自注意力机制来处理输入和输出序列。：由于自注意力机制不依赖于序列中元素的顺序，Transformer可以并行处理序列中的所有元素，这大大提高了训练效率。，学习通用的语言表示，然后在特定任务上进行微调，这在Seq2Seq模型中不常见。
【计算机视觉】Transformer在视觉中的崛起：ViT、DETR与Swin Transformer
最新发布
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-22 8万+
Transformer在视觉中的崛起：ViT、DETR与Swin Transformer，人工智能、大模型、AI深度学习在计算机视觉领域取得了令人瞩目的进展，从早期的卷积神经网络（CNN）主导，到近年来 Transformer 架构的异军突起，彻底改变了视觉任务的格局。Transformer 最初在自然语言处理（NLP）领域大放异彩，以其出色的捕捉长距离依赖关系的能力而闻名。随着研究的深入，研究者们开始探索将 Transformer 应用于视觉领域，这一尝试催生了一系列具有开创性的模型。
Transformer.ipynb
08-05
tensorflow2.0 版的transformer模型代码
深入了解Transformer模型及其优缺点
cooldream2009的博客
01-10 2万+
在当今人工智能领域，自然语言处理的关键问题之一是解决文本理解和生成中的挑战。传统的循环神经网络虽然在处理序列数据方面取得了一定成就，但它们存在着顺序执行、长期依赖和梯度消失等问题。Transformer模型，以其独特的结构和注意力机制在机器翻译、文本生成等任务中取得了突破性进展。
自然语言处理： seq2seq与Transformer
AI天才研究院
01-18 1405
1.背景介绍 自然语言处理(NLP)是人工智能的一个重要分支，旨在让计算机理解、生成和处理人类语言。自然语言处理的一个重要任务是机器翻译，即将一种自然语言翻译成另一种自然语言。在过去的几年中， seq2seq 和 Transformer 模型在这方面取得了显著的进展。 seq2seq 模型是基于循环神经网络(RNN)和 attention 机制的，而 Transformer 模型则是基于自注意...
seq2seq模型详解及对比（CNN，RNN，Transformer）
weixin_30758821的博客
07-08 1282
一，概述 　　在自然语言生成的任务中，大部分是基于seq2seq模型实现的（除此之外，还有语言模型，GAN等也能做文本生成），例如生成式对话，机器翻译，文本摘要等等，seq2seq模型是由encoder，decoder两部分组成的，其标准结构如下： 　　　　 　　原则上encoder，decoder可以由CNN，RNN，Transformer三种结构中的任意一种组合。但实际的应用过程中...
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
10-21
在深度学习领域，Transformer模型由于其出色的并行计算能力和对序列数据的处理能力，已经成为自然语言处理（NLP）和许多其他序列学习任务的重要工具。Transformer模型最早由Vaswani等人在2017年的论文中提出，并且...
Transformer-transformer
09-13
由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则提供了具体的文件名，因此，我们可以围绕“transformer”这个关键词展开知识内容的生成。...
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
热门推荐
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
增加attention的seq2seq和transformer有什么区别
凝眸伏笔的博客
06-20 1134
seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列。Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。很多自然语言处理任务，比如聊天机器人，机器翻译，自动文摘，智能问答等，传统的解决方案都是检索式(从候选集中选出答案)，这对素材的完善程度要求很高。seq2seq模型突破了传统的固定大小输入问题框架。采用序列到序列的模型，在NLP中是文本到文本的映射。
调试The Annotated Transformer
lhp171302512的博客
07-10 1209
The Annotated Transformer 应该是我见过最贴心的‘Attention is All You Need’的复现了。看网页链接像是哈佛大学复现的，质量应该还不错，于是就照着代码按顺序ctrl + c +v了一遍。其实在github上也有代码可以直接下载，只不过是.ipynb格式的。 在调试代码的过程中，遇到了一些问题，在这里记录一下。 1 环境安装 作者没有说明每个依赖库的版本，以下是我个人的版本，可以参考。 python==3.8.8 torch==1.9.0 numpy==1.20.
Transformer编码器的理解与PyTorch实现
一直特立独行的猫
03-14 7683
Transformer编码器的理解与Pytorch实现Transformer的整体结构 Transformer的整体结构 论文：Attention is All You Need Transformer模型是2017年Google公司在论文《Attention is All You Need》中提出的。自提出伊始，该模型便在NLP和CV界大杀四方，多次达到SOTA效果。2018年，Google公司再次发布论文《Pre-training of Deep Bidirectional Transformers f
Annotated Transformer 项目使用教程
gitblog_00069的博客
06-15 873
Annotated Transformer 项目使用教程 annotated-transformer An annotated implementation of the Transformer paper. 项目地址: https://gitcode.com/g...
白话机器学习-Transformer
老码农
05-04 2796
前一阵打算写这方面的文章，不过发现一个问题，就是如果要介绍Transformer，则必须先介绍Self Attention，亦必须介绍下Attention，以及Encoder-Decoder框架，以及GRU、LSTM、RNN和CNN，所以开始漫长的写作之旅。截止本文终于完成这个漫长的过程，
Transformer代码实战
雨夜闭门的博客
04-01 955
【代码】Transformer代码实战。
【transformer】入门与理解
学渣的博客
03-06 911
本文介绍了transformer。
Transformers 自然语言处理（四）
龙哥盟
04-30 784
Shi和Lin(2019)推进并证明了一个想法，即我们可以找出谁做了什么以及在哪里，而不依赖于词汇或句法特征。本章基于Peng Shi和Jimmy Lin在加利福尼亚滑铁卢大学展开的研究。他们展示了Transformers如何通过注意力层更好地学习语言结构。SRL 将语义角色定义为单词或一组单词在句子中所起的作用以及与谓语所建立的关系。语义角色是一个名词或名词短语在句子中与主要动词的关系中所扮演的角色。例如，在句子中，Marvin是句子中发生事件的施事者。施事者是事件的。
python机器学习及实践学习笔记1-如何打开ipynb后缀文件
zt384347827的博客
02-22 5万+
需要安装ipython notebook，如果你已经安装Anaconda软件，则不需要安装。如果未安装Anaconda，则需要安装，在控制台里输入： pip install ipython pip install “ipython[notebook]” 进入ipynb文件所在目录，输入ipython notebook，会在浏览器中打开ipynb文件。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由优快云开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务中取得了很大的成功。TransformER利用Transformer模型的强大表达能力，能够对输入文本进行编码，并学习到实体之间的关系。 TransformER的工作流程如下： 1. 输入文本预处理：将输入文本进行分词、词性标注等预处理操作。 2. 实体识别：使用命名实体识别技术，识别出文本中的实体，如人名、地名、组织机构等。 3. 关系抽取：通过Transformer模型对输入文本进行编码，学习到实体之间的关系。 4. 输出结果：将抽取到的实体和关系进行整理和展示。 TransformER在许多实际应用中具有广泛的应用，如信息抽取、问答系统、知识图谱构建等。它能够帮助用户从大量文本中快速准确地提取出有用的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值