【nlp】3.5 Transformer论文复现：3.解码器部分（解码器层）和4.输出部分（线性层、softmax层）

已于 2023-11-24 17:16:21 修改
阅读量1.5k 收藏 14
点赞数 22
CC 4.0 BY-SA版权
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 transformer 人工智能
于 2023-11-24 17:06:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lys_828/article/details/134573511
这篇博客深入探讨Transformer的解码器结构，包括解码器层的作用、实现和总结。解码器由多个子层组成，包括自注意力和一般注意力机制，并使用掩码防止信息泄露。此外，介绍了输出部分，线性层用于转换维度，softmax层则将输出转化为概率分布。

Transformer论文复现：3.解码器部分（解码器层）和4.输出部分（线性层、softmax层）

3.1 解码器介绍

解码器部分:

  • 由N个解码器层堆叠而成
  • 每个解码器层由三个子层连接结构组成
  • 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接
  • 第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接

在这里插入图片描述

说明:

解码器层中的各个部分，如，多头注意力机制，规范化层，前馈全连接网络，子层连接结构都与编码器中的实现相同. 因此这里可以直接拿来构建解码器层.

3.2 解码器层

3.2.1 解码器层的作用

作为解码器的组成单元, 每个解码器层根据给定的输入向目标方向进行特征提取操作，即解码过程.

3.2.2 解码器层的代码实现

# 解码器层类 DecoderLayer 实现思路分析
# init函数 (sel
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【nlp】3.4 Transformer论文复现：2. 编码器部分（规范化层、子层连接结构、编码器层）
lys_828的博客
11-24 1764
对Transformer架构中编码器部分的规范化子层、子层连接结构、编码器层级编码器耦合过程进行说明，并进行了代码复现
【nlp】3.3 Transformer论文复现：2. 编码器部分（掩码张量、多头注意力机制、前馈全连接层）
lys_828的博客
11-24 2055
对Transformer架构中的掩码张量、多头注意力机制、前馈全连接层进行内容的讲解已经代码复现
文本生成（一）【NLP论文复现】Unified Language Model 文本生成从未如此轻松
weixin_45839693的博客
01-10 5608
Unified Language Model 文本生成从未如此轻松前言UniLMHow to build UniLMGet 2D MASKSend 2D MASK to Bert使用UniLM实现新闻标题生成数据处理部分（略）模型训练技巧1:用自定义损失层来代替损失函数技巧2: 结合Embedding信息输出预测文本模型推理技巧3: BeamSearch解码精简你的词汇表技巧4: 精简你的词汇表，让你的模型收敛更快测试结果参考资料代码地址 前言 一篇19年的微软论文，老规矩先放论文链接：https://.
NLP经典论文复现
Raki_J的博客
12-21 1670
开个新坑，目前的计划是 transformer bert elmo
NLP小白怎么自己复现一篇论文的代码
热门推荐
qq_47232769的博客
05-07 1万+
小白复现代码基本流程
transformer论文复现（论文复现）
wei_shuo的博客
09-24 1926
transformer论文复现（论文复现）
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
最新发布
10-21
在深度学习领域，Transformer模型由于其出色的并行计算能力和对序列数据的处理能力，已经成为自然语言处理（NLP）和许多其他序列学习任务的重要工具。Transformer模型最早由Vaswani等人在2017年的论文中提出，并且...
第TR3周：Pytorch复现Transformer
lihuhelihu的博客
08-02 2932
Transformer可以看作是seq2seq模型的一种，因此，先从seq2seq的角度对Transformer进行宏观结构的学习。下图1先便是Transformer整体结构图，与seq2seq模型类似，Transformer模型结构中的左半部分为编码器，右半部分为解码器，下面我们来一步步拆解Transformer。在某种程度上，可以将Transformer看作是Seq2Seq的一种演变，Transformer可以执行Seq2Seq任务，并且相对于传统的Seq2Seq模型具有更好的性能和可扩展性。
【论文复现】Transformer
weixin_73074012的博客
08-09 942
Transformer应用范围非常广泛，涵盖了自然语言处理、时间序列数据预测、图像处理等领域。由于笔者之前都是应用，但是对于原理并没有深刻理解导致想要进行进一步的调试难度比较大，所以学习Transformer的原理以便更加好地运用Transformer。这一篇文章写的非常好，非常清晰地展示了用代码实现Transformer的具体编程步骤以及原理解释，另外和展示了用Pytorch复现Transformer代码的全过程。
NLP学习之：BERT 模型复现（4）模型实现
qq_42902997的博客
10-23 1122
【代码】NLP学习之：BERT 模型复现（4）模型实现。
nlp_paper_study:研读顶会论文，复现论文相关代码
04-28
【关于 NLP】 那些你不知道的事 作者：杨夕 项目地址： 个人介绍：大佬们好，我叫杨夕，该项目主要是本人在研读顶会论文和复现经典论文过程中，所见、所思、所想、所闻，可能存在一些理解错误，希望大佬们多多指正。 NLP 面经地址： 目录 【关于 信息抽取】 那些的你不知道的事 【关于 实体关系联合抽取】 那些的你不知道的事 【关于 命名实体识别】那些你不知道的事 【关于 关系抽取】那些你不知道的事 【关于 文档级别关系抽取】那些你不知道的事 【关于 知识图谱 】 那些的你不知道的事 【关于 实体链指篇】 那些的你不知道的事 【关于 实体消歧 】 那些的你不知道的事 【关于KGQA 】 那些的你不知道的事 【关于Neo4j 】 那些的你不知道的事 【关于 细粒度情感分析】 那些的你不知道的事 【关于 主动学习】 那些的你不知道的事 【关于 对抗训练】 那些的你不知道的事 【关于 GCN in
南开大学nlp期末大作业，样例复现和三篇acl论文复现
07-03
<项目介绍> 南开大学nlp期末大作业，样例复现和三篇acl论文复现 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
nlp-paper:自然语言处理领域下的对话语音领域，整理相关论文（附阅读笔记），复现模型以及数据处理等（代码含TensorFlow和PyTorch两版本）
04-30
NLP-Paper | Still work 本人在学习的过程中阅读过的论文就更新上来，对于自己精读的论文，会写一些阅读笔记上传，有兴趣的也可以一同分享完善。(内容同步更新到、) 注：对部分复现论文代码以及NLP其他工具代码放在这 ☞ Contents | 内容 Summarize | 综述 ：对话系统的最新研究和方向 | Chen et al,2017 Recent Advances and Challenges in Task-oriented Dialog Systems | 阅读笔记：面向任务型对话系统的最新研究和方向 | Zhang et al,2020 Pre-trained Models for Natural Language Processing: A Survey | 阅读笔记：超详细的NLP预训练语言模型总结清单 | Xipeng Qiu et al,2020 Pre
超牛逼的自然语言处理论文和代码
01-30
Research on Issues of Translation Selection for Phrase and Structure in Statistical Machine Translation_hezhongjun_phd thesis 2008.pdf Research on domain adaptation in Statistical Machine Translation_caojie_master thesis 2010.pdf Research on Statistical Machine Translation Based on Bracketing Transduction Grammar and Dependency Grammar_xiongdeyi_phd thesis 2007.pdf Research on Implementation Technology of Large-scale Statistical Language Model_huangyun_master thesis 2008.pdf The Research and System Implementation of Automatic Acquisition of Large-scale Bilingual Parallel Corpus from Web_yeshanni_master thesis 2008.pdf Research on Fault-tolerant Statistical Machine Translation_mihaitao_phd thesis 2009.pdf Research on Tree-to-String Statistical Translation Models_liuyang_phd thesis 2007.pdf Automatic Extraction and Application of Multiword Expression Translation Pairs_renzhixiang_master thesis 2009.pdf Research on Some Issues of Large-scale Data Precessing in Statistical Machine Translation_luoweihua_PhD thesis 2010.pdf 融合翻译模板的统计机器翻译技术研究.pdf 主题可定制的web双语平行语料库自动获取技术研究.pdf
NLP学习之：BERT论文复现（2）token embedding + segment embedding + position embedding
qq_42902997的博客
10-22 2054
【代码】NLP学习之：BERT论文复现（2）token embedding + segment embedding + position embedding。
自然语言处理课程论文：《Attention is all you need》复现与解读
m0_64198455的博客
06-25 4640
1.3.1 机器翻译机器翻译是指利用计算机技术将一种语言的文本转换为另一种语言的文本。常见的机器翻译方法包括基于规则的方法、基于统计的方法和基于神经网络的方法。基于规则的方法依赖于语言学规则和词典，而基于统计的方法则通过学习源语言和目标语言之间的对应关系来进行翻译。近年来，基于神经网络的端到端机器翻译方法由于其优秀的性能和灵活性而备受关注。Transformer 模型作为一种基于注意力机制的神经网络结构，已经成为了机器翻译领域的主流方法之一，取得了令人瞩目的翻译效果。
信息抽取（四）【NLP论文复现】Multi-head Selection和Deep Biaffine Attention在关系抽取中的实现和效果
weixin_45839693的博客
12-15 7358
Multi-head Selection和Deep Biaffine Attention在关系抽取中的应用前言Multi-head Selection一、Joint entity recognition and relation extraction as a multi-head selection problem二、BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction三、实现方法和模型代码展示Deep Biaffine
P21 神经网络线性层及其他层介绍
weixin_44751432的博客
09-15 533
可以看到参数中需要自己填的不错，主要num_Features就是输入的 channel。有一篇文献说 正则化可以加快训练速度。VGG 16 model为例。以一个典型的网络结构。
NLP经典论文研读--xlnet论文代码复现记录
zhilanguifang的博客
06-27 1226
xlnet这个模型还是相当复杂的，我看了很长一段时间也还是有很多地方没有搞明白，最后又在网上搜了很多大佬写的相关博客，才算是大致弄明白了，想了解xlnet的原理，请参考原论文，这里推荐一位大佬写的博客，写得非常清楚明白，也解决了我的很多困惑。在这里，我重点讲解一下xlnet的代码实现，我这个代码是注：这代码里面没有说实验配置，但是我自己的实验环境是cuda11.3 ，经过实验可以正常运行，我的实验配置供参考，如下：python:3.6。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值