自然语言处理(NLP)入门——Transformer详解(1)

最新推荐文章于 2024-06-24 02:02:46 发布
最新推荐文章于 2024-06-24 02:02:46 发布
阅读量644 收藏 2
点赞数
分类专栏： nlp 文章标签： pytorch python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37935970/article/details/123832703
版权
  • Transformer的背景:
    • 2017年发表的的Transformer论文
    • 2018年出现
    • 优势:
        1. Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.
        2. 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好. attention机制的使用.
  • Transformer结构解析
    在这里插入图片描述
    • 输入部分
      • 源语言的文本嵌入层 + 位置编码器
      • 目标语言的文本嵌入层 + 位置编码器
    • 编码器部分
      • 编码器是有N个编码器层组成
      • 编码器层是由两个子层连接结构构成
      • 第一个子层连接结构是由一个多头注意力和规范化层和残差连接
      • 第二个子层连接结构是由一个前馈全连接层和规范化层和残差连接
    • 解码器部分
      • 解码器是有N个解码器层构成
      • 一个解码器层是由三个子层连接结构构成
      • 第一个子层连接结构是由一个多头的自注意力子层和规范化层和残差结构
      • 第二个子层连接结构是由一个多个注意力子层和规范化层和残差连接
      • 第三个子层连接结构是由一个前馈全连接层和规范化层和残差连接
    • 输出部分
      • Linear层
      • softmax层

输入部分

  • 文本嵌入层:
    • 作用: 为了在更高维度的语义空间中捕捉词汇之间的联系
    • 代码实现:
      • Embeddings: 在源文本嵌入和和目标文本嵌入层是共享
      • 在实现的过程中embedding之后的结果*维度的开方, 目的是: 1.为了是嵌入层数值的量级和后面位置编码器的数值量级达到一个量级上, 2. 为了加快模型的训练过程
  • 位置编码器
    • 作用: Transformer在信息提取的过程中, 将位置信息缺失了, 为了添加位置信息, 所以在此处要添加位置编码器.
    • 使用的函数: 正余弦函数, 在偶数为上进行正弦值的插入, 在奇数位置上进行余弦值的插入
    • 注意点: 这里的位置编码器可以换成其他的函数形式, 或是在网络中进行动态学习.(了解即可)

编码器部分

  • 掩码张量
    • 作用: 为了防止模型在解码器部分解码的时候提前利用未来的信息, 所以我们要现将未来的信息提前遮掩住, 这个使用需要用到掩码张量.
NLP - Transformer
AI工程化、开源分享、文档翻译、代码笔记
03-23 525
文章目录Transformer 总体架构计算注意力单头注意力 & 多头注意力词向量编码MaskPAD MASK上三角 MASK完整计算过程Encoder实验数据生成策略 学习自：蓝斯诺特 Transformer简明教程, 从理论到代码实现到项目实战, NLP进阶必知必会. https://www.bilibili.com/video/BV19Y411b7qx https://github.com/lansinuote/Transformer_Example RNN 缺点 能够处理的信息复杂度
自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解
WANGYANG的博客
05-05 2138
提示：本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码（positional encoding）的讨论，提供更深入的解析以助于对该概念的整体理解。参考了这两篇博文Vaswani等人推出了Transformer架构，这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升，使其迅速在自然语言处理（NLP）领域以及最新的计算机视觉（CV）研究中获得了广泛的认可和应用。
Transformer介绍及架构解析
码python的Vinsmoke
11-03 3697
第一章:Transformer背景介绍 1.1 Transformer的诞生 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 论文地址: https://arxiv.org/pdf/1810.04805.pdf 而在BERT中发挥重要作用的结构就是Transformer..
自然语言处理Transformer
最新发布
llikecat的博客
06-24 1465
Transformer与RNN不同，可以比较好地并行训练。Transformer本身是不能利用单词的顺序信息的，因此需要在输入中添加位置Embedding，否则 Transformer就是一个词袋模型了。Transformer的重点是Self-Attention 结构，其中用到的QKVQ, K, VQKV矩阵通过输出进行线性变换得到。
自然语言处理中的Transformer
简之的通向技术之路
07-05 823
1、seq2seq seq2seq 是一个 Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 这个结构最重要的地方在于输入序列和输出序列的长度是可变的，可以用于翻译，聊天机器人，句法分析，文本摘要等。 seq2seq的结构如下： 当然，目前说到seq2seq，最为人所熟知的就是Transformer，Transformer的结构如下： 2
【详解】NLP之Transformer详解
LeeZhao的博客
06-24 2125
Transformer详解 Attention is all you need 是一篇将 Attention 思想发挥到极致的论文，出自 Google。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN (其实也不完全是，还是用到了一维卷积)。这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。 参考资料： Transformer 模型的 PyTorch 实现 《Attention is All You Need》
自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）
WANGYANG的博客
05-11 1353
在前面的章节中，详细讨论了循环神经网络（RNN）及其衍生模型，经过对RNN的不断改良，它们现在已经具备了长期记忆的能力，这无疑是语言模型领域的一项重大突破。然而，现在的多模态技术以及GPT的出现，绝大多数都选择了基于Transformer的架构，这是为何呢？本章节将围绕这个问题展开，将深入讲解自注意力机制，揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术，以及多模态技术如CLIP等内容奠定坚实的基础。
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 2593
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
自然语言处理基础知识入门(五) ELMo模型详解
WANGYANG的博客
05-25 1635
https://arxiv.org/pdf/1802.05365v2 原始论文链接在之前的章节中，深入讨论了 Word2vec 模型对自然语言处理领域的深远影响。以及讲解了大名鼎鼎的变形金刚Transformer对多模态技术发展的影响，虽然按照逻辑顺序，接下来的章节应该是学习 Bert 模型，但是为了在学习Bert过程中能够与 ELMo 进行深入对比并且保持学习过程中的连贯性，本章节将先行讲解 ELMo 模型。
自然语言处理基础知识入门(六) GPT模型详解
WANGYANG的博客
06-01 1201
在之前的章节中，深入探究了预训练ELMo模型的架构与实现原理。通过采用双向LSTM架构在大规模文本数据上进行预训练，ELMo模型成功地为预训练模型时代的开启奠定了基础。继ELMo之后，OpenAI基于transformer架构发布了GPT（Generative Pre-training Transformer）模型，该模型同样采用预训练策略，进一步推动了自然语言处理领域的语言模型发展。在本章节，以GPT模型为起点，初步的学习ChatGPT等基于对话的AI模型背后的原理与技术演化。
深度学习自然语言处理-Transformer模型
08-31
Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。Transformer是：“首个完全抛弃RNN的recurrence，CNN的convolution，仅用attention来做特征抽取的模型。“ 本文简介了Transformer模型。
nlp之transformer
GeekPlusA的博客
07-07 207
人工智能的发展大概可以分为四个阶段 第一个阶段：运算智能，主要体现在记忆和计算 第二个阶段：感知智能，主要体现在听觉、视觉、触觉 第三个阶段：认知智能，具体体现在语言、知识、推理方面 第四个阶段：创造智能 transformer@[TOC](transformer)1. encoder2. decoder问题 1. encoder 2. decoder 问题 Transformer为何使用多头注意力机制？（为什么不使用一个头） Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同.
nlp-transformer
小马哥的博客
03-06 244
需要学习的知识点： Transformer中的encoder是干嘛的？怎么做的？ Self的计算方式 向量化计算 多头注意力 组合多头生成的z 整个流程的简介 多头注意力实际解释 位置编码是什么？ 实例解释 直觉上理解 Batch Normalization 针对多个样本的同一维度的输出值； Layer Normalization 针对一个样本各个维度的输出值； Tr...
自然语言处理——Transformer模型架构
qq_39079631的博客
12-04 1745
自然语言处理 Transformer Transformer的优势 相比LSTM和GRU模型，Transformer有两个显著的优势： Transformer能够利用分布式GPU进行并行训练，提高模型训练效率 在分析预测更长文本时，捕捉间隔较长的语义关联效果更好 认识Transformer架构 Transformer模型的作用：基于seq2seq架构的Transformer模型可以完成NLP领域研究的典型任务，如机器翻译、文本生成等。同时又可以构建预训练语言模型，用于不同任务的迁移学习 在接下
NLP---Transformer
逗逗的博客
07-26 519
参考：https://blog.youkuaiyun.com/han_xiaoyang/article/details/86560459 https://jalammar.github.io/illustrated-transformer/ 以下仅为个人学习笔记 1. 简介 Google于2017年在论文Attention is All You Need中提出。 论文地址：https://arxiv.o...
【自然语言处理五】Transformer模型
moo611的博客
12-31 779
NLP之Transformer
Ton的博客
03-10 1892
总体来看，Transformer这个模型架构还是遵循着Encoder-Decoder的格式。此外，Transformer由注意力机制模块组成，因此在学习Transformer之前有必要对注意力机制有个了解(点这里)。 参考文档： ①：Transformer模型的PyTorch实现 TransformerSelf-attentionScaled dot-product attentionMulti-head self-attentionResidual connectionPositional Encodi.
NLP 之 transformer
robustness博客
01-10 708
1 Transformer模型 Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。 Transformer模型是2018年5月提出的，可以替代传统RNN和CNN的一种新的架构，用来实现机器翻译，论文名称是attention is all you need。无论是RNN还是CNN，在处理NLP任务时都有缺陷。CNN是其先天的卷积...
王树森自然语言处理视频：RNN模型与NLP应用详解
本压缩文件收录了由王树森主讲的自然语言处理系列视频，涵盖了RNN（Recurrent Neural Networks，循环神经网络）模型及其在自然语言处理（NLP）中的应用。视频内容详细介绍了RNN及其变体模型如LSTM（Long Short-Term ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值