使用Pytorch复现Transformer

已于 2024-08-10 23:26:10 修改
阅读量351 收藏 2
点赞数 8
CC 4.0 BY-SA版权
文章标签： python transformer 深度学习 人工智能 机器翻译
于 2024-08-04 12:14:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_54561434/article/details/140904496

Transformer(Pytorch) - Machine Translation

项目链接点击这里
如果有帮助可以star一下，谢谢！！
使用Pytorch复现Transformer，并完成机器翻译任务(法语 -> 英文、英文 -> 中文)

Install

git clone https://github.com/JiaxingSong718/Transformer.git  # clone
cd Transformer

Environment

conda create -n Transformer python=3.7
conda activate Transformer
pip install -r requirements.txt  # install

Dataset

法语 -> 英文数据集：

数据集train 和 valid

英文 -> 中文数据集：

最低0.47元/天 解锁文章

200万优质内容无限畅学
Serein_sjx
关注
第TR3周：Pytorch复现Transformer
lihuhelihu的博客
08-02 2811
Transformer可以看作是seq2seq模型的一种，因此，先从seq2seq的角度对Transformer进行宏观结构的学习。下图1先便是Transformer整体结构图，与seq2seq模型类似，Transformer模型结构中的左半部分为编码器，右半部分为解码器，下面我们来一步步拆解Transformer。在某种程度上，可以将Transformer看作是Seq2Seq的一种演变，Transformer可以执行Seq2Seq任务，并且相对于传统的Seq2Seq模型具有更好的性能和可扩展性。
transformer复现
一介北漂
06-27 798
""" 原始 embedding，添加 position-embedding， multihead-attention： embedding->ff(q,k,v)-->split+concat-->mask--> attention-->scaled-dot-product-->softmax(qk)--> softmax(qk)*value-->residual,input+output-->layer-normalization fea...
Transformer代码复现(带详细解释）
最新发布
2301_81248263的博客
05-08 733
本文介绍了Transformer模型的代码复现，重点讲解了输入部分和编码器部分的实现。输入部分包括源文本嵌入层、目标文本嵌入层及其位置编码器。文本嵌入层通过Embeddings类实现，将词汇映射为词向量，并乘以词嵌入维度的平方根。位置编码器通过PositionalEncoding类实现，使用正弦和余弦函数生成位置信息，并将其与词嵌入相加。编码器部分由多个编码器层堆叠而成，每个编码器层包含多头自注意力子层和前馈全连接子层，并通过残差连接和规范化层进行优化。多头注意力机制通过MultiHeadedAttenti
transformer核心复现
weixin_42975688的博客
10-08 373
transformer核心复现 import torch import torch.nn.functional as F import numpy as np import math, copy, time from torch.autograd import Variable import matplotlib.pyplot as plt import seaborn seaborn.set_context(context="talk") #------------------------------主体
Raki的paper复现：Transformer
Raki_J的博客
01-13 839
咕咕咕了很久，它终于要来辣！ 本blog将会按照paper中的顺序，完整复现transformer模型，但是不会有训练的部分，想看训练部分的请参考哈佛的blog原文（： reference： 哈佛大学NLP组的transformer复现 Transformer源码详解（Pytorch版本） 老规矩，先上整体架构图： Encoder and Decoder Stacks 此处的Encoder是堆叠之后的结果，每个layer是单个encoder，首先将其复制 NNN = 6次 class Encoder
Transformer源码复现（学习笔记）
m0_74041686的博客
03-17 1241
本文详细讲解了作者学习Transformer源码的过程与思考
TR3：Pytorch复现Transformer
u012249506的博客
11-14 1355
Transformer 网络架构架构由 Ashish Vaswani 等人在 Attention Is All You Need一文中提出，并用于机器翻译任务，和以往网络架构有所区别的是，该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖于注意力机制的架构。网络架构如下所示： Transformer改进了RNN被人诟病的训练慢的特点，利用self-attention可以实现快速并行。注意力机制是神经网络中一个迷人的概念，特别是在涉及到像 NLP 这样的任务时。它就像给
第26周：Pytorch复现Transformer
weixin_46620278的博客
09-28 1117
🍨 本文为 [🔗365天深度学习训练营] 中的学习记录博客[K同学啊]从整体上把握Transformer模型，明白它是个什么东西，可以干嘛读懂Transformer的复现代码一、基本概念对Transformer和自注意力机制的基本概念进行了解，并结合代码进行实际学习操作[🔗365天深度学习训练营][K同学啊]
基于Pytorch复现Point-Transformer，用于ShapeNet数据集点云分割_Point-Transfor
09-16
基于Pytorch复现的Point-Transformer模型，以及其在ShapeNet数据集上的点云分割应用，代表了当前点云数据处理领域的一个重要进展。随着深度学习技术的不断发展，未来我们有望看到更多的创新模型和应用，推动3D空间...
手搓Transformer代码（简易版）复现
qq_50374797的博客
06-06 2044
Transformer 架构中的一个关键组件，可以用于编码器（Encoder）的自注意力（Self-Attention）、解码器（Decoder）的掩蔽自注意力（Masked Self-Attention）以及编码器-解码器（Encoder-Decoder）的注意力机制。，其中包含了多个句子，每个句子都是一个包含三个字符串的列表：中文句子（编码器输入）、带有开始符号的英文句子（解码器输入）、以及英文句子（解码器输出）。中的每个句子，并将每个句子的单词转换成对应的数字。，其中包含了三对中文到英语的句子。
Transformer模型代码复现及逻辑说明
weixin_62486274的博客
11-01 2281
1、为什么要进行词嵌入编码： Transformer进行词嵌入编码的原因是将离散的词汇转换为连续的向量表示，使模型能够处理和学习词汇之间的关系。词嵌入将词汇转换为向量，使模型能够捕捉语义关系、降低维度和提高泛化能力，从而更有效地理解和处理自然语言。2、词嵌入编码实现的逻辑： 使用nn.Embedding方法，其实现原理：前向传播，实现该方法时，其内部使用了一张查找表，将输入的词索引映射到对应的向量。 : 创建一个嵌入层，用于将词汇表中的每个词映射到一个固定维度的向量。 : : 词汇表的大小，表示模型可以
一文读懂Transformer+源码复现
程序猿废柴的博客
04-28 1万+
本文主要介绍Transformer的原理以及对Transformer的源码进行复现。关于Transformer的原理在上篇《一文读懂BERT(原理篇)》一文中有较详细的介绍，读者可以通过传送门过去进一步阅读，本片着重对代码部分进行研究。本文内容参考了The Annotated Transformer（读者可以从这里下载代码）以及《Convolutional Sequence to Sequence...
复现 transformer
m0_57122465的博客
05-31 1638
首先是一些掩码操作这行代码主要是在实现序列屏蔽的过程中构造一个形状为(batch_size, seq_len)大小的布尔型张量mask 其中，元素(i,j)的值为True表示对应输入序列中的第i个样本在位置j上存在有效元素，反之，该位置不存在有效元素。具体而言，valid_len 是一个长度为batch_size的一维张量，表示每个序列中有效元素的数量（seq_len可能大于有效长度）。
复现Transformer模型
weixin_51278988的博客
02-09 647
假如进来一句话，首先这里面有15个token，第一步经过embedding层，每一个词都是128维度的向量**[15,128]，**接着为这个embedding提供position encoding。该函数的第一个参数是输入的矩阵，第二个参数 diagonal 是一个可选参数，用于控制对角线的偏移量。在transformer中，embedding主要是为每个词提供一个向量，然后position embedding主要是提供位置信息，这里着重讲解一下一个句子进来，它是如何进行嵌入和位置相加的。
【深度学习】(2) Transformer 网络解析，代码复现，附Pytorch完整代码
博观而约取，厚积而薄发
06-27 9344
今天和各位分享一下如何使用 Pytorch 构建 Transformer 模型。本文的重点在代码复现，部分知识点介绍的不多，我会在之后的四篇博文中详细介绍 Encoder，Decoder，(Mask)MutiHeadAttention，以及实战案例。之前我也介绍过 Vision Tranformer，该模型的 Pytorch 和 TensorFlow2 的复现和实战案例可以看我的这两篇博文：https://blog.youkuaiyun.com/dgvv4/article/details/124792386ht...
Github复现之TransUNet（Transformer用于语义分割）
热门推荐
qq_20373723的博客
04-09 5万+
Transformer最近应该算是一个发文章的新扩展点了，下面给出了三个网络的结构分别是TransFuse，TransUNet，SETR。很明显，结构里那个Transformer层都是类似的，感觉只要用一下那个层，包装一下，发文章会比纯做卷积网络创新相对轻松些，目前我只用了TransUNet，也没有怎么训练，还没法给出实际效果的好坏评价，后续会多做实验，评估这些网路用于实际时究竟怎样，接下来就先完成一下TransUNet的复现。 TransFuse 论文链接：https://arxiv.org/abs/21
第TR1---TR3周： Pytorch复现Transformer
m0_62017984的博客
07-05 1180
主要序列转导模型基于复杂的循环或卷积神经网络，包括编码器和解码器。mechanism.性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构——Transformer，它完全基于注意力机制，完全不需要递归和卷积。对两个机器翻译任务的实验表明，这些模型具有卓越的质量，同时具有更高的并行性，并且需要的训练时间显着减少。我们的模型在 WMT 2014 英德翻译任务中获得了 28.4 BLEU，比现有的最佳结果（包括集成）提高了 2 BLEU 以上。
Transformer(gpu)代码复现
weixin_45762884的博客
04-15 1101
逐行注释，逐行解析。本地配备gpu环境可直接运行。相比cpu版本没有任何删减，增加的几行代码已做标识。 code from https://github.com/graykode/nlp-tutorial/tree/master/5-1.Transformer
第TR3周：pytorch复现transformer
03-11
好的，我现在需要帮助用户了解如何使用PyTorch实现Transformer模型。首先，我应该回顾一下PyTorch中Transformer的相关组件。记得PyTorch提供了nn.Transformer模块，包括编码器、解码器、多头注意力机制等。用户可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值