基于Transformer解决机器翻译任务#Datawhale AI夏令营

最新推荐文章于 2024-07-20 23:36:39 发布
原创 最新推荐文章于 2024-07-20 23:36:39 发布 · 置顶 · 2.1k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #transformer #机器翻译

目标：进阶Transformer模型完成任务，入门深度学习

任务介绍：

从零入门AI竞赛(NLP方向)-进阶分享 - 二次元的Datawhale - 哔哩哔哩直播，二次元弹幕直播平台

Datawhale官方有提供详细的速通文档：‬​​​‬​​​⁠​​‍‍‍‍‌⁠​‬⁠​​‬​​‬​​‍​​​​‍⁠‌​‬‍​‍​​零基础入门大模型技术竞赛 - 飞书云文档 (feishu.cn)

1.Transformer 介绍（来自本夏令营文档）

1.1. 概念

基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而，它们在建模文本长程依赖方面都存在一定的局限性。

  • 对于卷积神经网络来说，受限的上下文窗口在建模长文本方面天然地存在不足。如果要对长距离依赖进行描述，需要多层卷积操作，而且不同层之间信息传递也可能有损失，这些都限制了模型的能力。

  • 而对于循环神经网络来说，上下文的语义依赖是通过维护循环单元中的隐状态实现的。在编码过程中，每一个时间步的输入建模都涉及到对隐藏状态的修改。随着序列长度的增加，编码在隐藏状态中的序列早期的上下文信息被逐渐遗忘。尽管注意力机制的引入在一定程度上缓解了这个问题，但循环网络在编码效率方面仍存在很大的不足之处。由于编码端和解码端的每一个时间步的隐藏状态都依赖于前一时间步的计算结果，这就造成了在训练和推断阶段的低效。

Transformer的主要组件包括编码器(Encoder)、解码器(Decoder)和注意力层。其核心是利用多头自注意力机制（Multi-Head Self-Attention），使每个位置的表示不仅依赖于当前位置，还能够直接获取其他位置的表示。自从提出以来，Transformer模型在机器翻译、文本生成等自然语言处理任务中均取得了突破性进展，成为NLP领域新的主流模型。

1.2 Transformer结构

从宏观角度来看，Transformer的编码器是由多个相同的层叠加而成的，每个层都有两个子层（子层表示为sublayer）。第⼀个子层是多头自注意力（multi-head self-attention）汇聚；第二个子层是基于位置

最低0.47元/天 解锁文章
凛lin0717
关注
[算法前沿]--032-Transformers的生成任务-机器翻译
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
06-29 401
如果您正在本地打开这个notebook，请确保您认真阅读并安装了transformer-quick-start-zh的readme文件中的所有依赖库。您也可以在找到本notebook的多GPU分布式训练版本。
【NLP】(task9)Transformers解决机器翻译任务
发现问题，并解决问题，批判性思维
08-31 6521
学习总结 （1）之前的任务都是语言理解类任务（如文本分类、抽取式问答、序列标注等），而对于文本生成任务（如机器翻译、文本摘要等），这类任务不仅需要对作为条件的输入有较好的表示能力（编码器），同时需要较强大的（序列）解码器生成目标文本。沿着解码器利用自监督学习的方式进行预训练，大佬们提出了一些预训练生成模型：BART、UniLM、T5和GPT-3等，更多机器翻译论文可参考清华大学NLP组整理的论文——https://github.com/THUNLP-MT/MT-Reading-List。 （2）本次学习用H
干货 | 关于机器翻译，看这一篇就够了
携程技术中心
05-21 3956
作者简介俞谦，携程度假大数据研发部算法工程师，主要负责机器翻译的研究与应用，目前专注于自然语言处理在垂域下的成熟解决方案。机器翻译技术的发展一直与计算机技术、信息论、语言...
Datawhale AI 夏令营 学习笔记——NLP竞赛——Task3
asphysiaa的博客
07-19 2009
Transformer的主要组件包括。其核心是利用，使每个位置的表示不仅依赖于当前位置，还能够直接获取其他位置的表示。自从提出以来，Transformer模型在机器翻译、文本生成等自然语言处理任务中均取得了突破性进展，成为NLP领域新的主流模型。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而成的，每个层都有两个子层（子层表示为sublayer）。第⼀个子层是；第二个子层是。对于输入文本序列，先通过一个输入嵌入层（Input Embedding）。通常直接对每个单词创建一个向量表示。
Transformer 机器翻译任务（上）
songyang66的博客
11-23 3114
transformer 架构解析和代码编写，学习唐宇迪老师的
机器翻译任务剖析
Lostgreen的博客
07-16 1153
嘿嘿今天准备打卡Datawhale夏令营的第二期。根据他们给的Baseline任务进行了一些拓展学习。下面参考Datawhale的任务书和《动手学深度学习》一书以及一些优秀优快云博客文介绍机器翻译相关知识！
机器翻译实现
wj20030325的博客
06-22 2890
带有注意力机制的编码器-解码器（Encoder-Decoder with Attention）是一种常用于机器翻译等任务的深度学习模型结构。它通过编码器将输入序列编码成一个语义表示，并通过解码器将这个语义表示解码成目标序列。同时，注意力机制可以帮助模型在解码时更好地关注输入序列中与当前位置相关的部分，提升翻译的准确性和流畅性。
基于Transformer解决机器翻译任务学习笔记记录#AI夏令营 #Datawhale #夏令营
weixin_41981413的博客
07-19 1870
基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而，它们在建模文本长程依赖方面都存在一定的局限性。对于卷积神经网络来说，受限的上下文窗口在建模长文本方面天然地存在不足。如果要对长距离依赖进行描述，需要多层卷积操作，而且不同层之间信息传递也可能有损失，这些都限制了模型的能力。而对于循环神经网络来说，上下文的语义依赖是通过维护循环单元中的隐状态实现的。
基于Transformer解决机器翻译问题的思考与总结#Datawhale AI 夏令营
AS_Ming的博客
07-20 1724
简单整理了transformer有关知识，结合我自己遇见的问题，比较易懂。纯小白，整理总结自己这几天学到的知识，以及一些体会。
Datawhale AI夏令营 Task3 基于Transformer解决机器翻译任务
NeigePrimaire的博客
07-20 757
Transformer是一种由Vaswani等人在2017年提出的神经网络架构，最初用于机器翻译任务，但现在已广泛应用于各种自然语言处理（NLP）任务，如文本生成、问答系统和文本分类等。与传统的循环神经网络（RNN）和长短期记忆（LSTM）网络不同，Transformer完全基于注意力机制，不使用任何循环或卷积操作，这使得它在处理长距离依赖关系时更为高效。Transformer模型主要由编码器（Encoder）和解码器（Decoder）两个部分组成，每个部分又由多个堆叠的相同层（Layers）构成。
Datawhale-AI夏令营 Task3:基于Transformer解决机器翻译任务
weixin_53539714的博客
07-20 1651
基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而，它们在建模文本长程依赖方面都存在一定的局限性。对于卷积神经网络来说，受限的上下文窗口在建模长文本方面天然地存在不足。如果要对长距离依赖进行描述，需要多层卷积操作，而且不同层之间信息传递也可能有损失，这些都限制了模型的能力。而对于循环神经网络来说，上下文的语义依赖是通过维护循环单元中的隐状态实现的。在编码过程中，每一个时间步的输入建模都涉及到对隐藏状态的修改。
动手深度学习PyTorch（十一）机器翻译
HyperionSS的博客
02-18 2288
机器翻译 机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。 1. 读取和预处理数据 我们先定义一些特殊符号。其中“<pad>”（padding）符号用来添加在较短序列后，直到每个序列等长，而“<bos>”和“<eos>”符号分别表示序列的开始和结束...
Transformer机器翻译模型（代码实现案例）
m0_60657960的博客
03-04 4341
¶# 定义特殊字符及其对应的索引值# 确保标记按其索引的顺序正确插入到词汇表中# 训练数据集的迭代器,# 数据集是用英文描述图像的英文语句, 然后人工将其翻译为德文的语句,有两个文件, 一个是train.de 一个是train.en文件,# 然后将其构建为(德文, 英文)的形式# 创建torchtext的vocab对象, 即词汇表。
transformer上手（9）—— 翻译任务
哦豁灬
04-16 7150
运用 Transformers 库来完成翻译任务。翻译是典型的序列到序列 (sequence-to-sequence, Seq2Seq) 任务，即对于每一个输入序列都会输出一个对应的序列。翻译任务通常需要大量的对照语料用于训练，如果我们有足够多的训练数据就可以从头训练一个翻译模型，但是微调预训练好的模型会更快，例如将 mT5、mBART 等多语言模型微调到特定的语言对。微调一个 Marian 翻译模型进行汉英翻译，该模型已经基于语料对汉英翻译任务进行了预训练，因此可以直接用于翻译。
机器翻译：深度学习与实际应用
AI天才研究院
12-28 941
1.背景介绍 机器翻译是自然语言处理领域的一个重要分支，其目标是让计算机能够理解一种自然语言，并将其翻译成另一种自然语言。随着深度学习技术的发展，机器翻译的表现也得到了显著的提升。本文将从背景、核心概念、算法原理、实例代码、未来趋势和常见问题等方面进行全面阐述。 2.核心概念与联系 2.1 自然语言处理 自然语言处理(NLP)是计算机科学与人工智能领域的一个分支，研究如何让计算机理解、生成...
【读点论文】Multiscale Vision Transformers，将多尺度信息运用到纯Transformer架构上，运用池化给transformer下采样，在多个数据集、视觉任务上表现良好
白水空空
05-20 2872
本文提出了用于视频和图像识别的多尺度视觉transformer(MViT)，通过将多尺度特征层次的开创性思想与transformer模型联系起来。多尺度transformer有几个通道分辨率尺度级。从输入分辨率和一个小的通道维度开始，阶段分层地扩展通道容量，同时降低空间分辨率。这创建了一个多尺度的特征金字塔，其中早期的层以高空间分辨率运行，以模拟简单的低层次视觉信息，而更深的层则以空间粗糙但复杂的高维特征。
一文带你了解机器翻译
华章IT官方博客
05-31 1824
导读：机器翻译是个学术味和生活味都特别浓的词。现在中国是个很大的市场，国外的游戏、小说和影视剧现在都出了中文版，如果译文质量不好大家就会吐槽，文雅一点的说“味同嚼蜡”，大多数人就直白多了，直接就说“像机翻一样”。这里的“机翻”就是机器翻译。01为什么要有机器翻译小标题起得有点凡尔赛，其实原因我们都知道，因为翻译始终是一种短缺的资源，尤其对于一些小众的语言和小众的消息，可能...
NLP——Translation 机器翻译
qq_42902997的博客
06-14 3979
基于短语的翻译模型是SMT中常用的模型之一，它将源语言和目标语言的句子划分为短语，并建立短语对之间的翻译概率。基于短语对齐（Phrase Alignment）：基于短语对齐的方法将源语言和目标语言的短语进行对应，以实现句子或段落级别的对齐。基于词对齐（Word Alignment）：基于词对齐的方法尝试将源语言和目标语言中的单词进行对应，以实现句子或短语的对齐。解码器生成：将上下文向量与解码器当前的输入（通常是之前生成的目标语言词）一起输入解码器，生成下一个目标语言词的概率分布。从而解决了这个问题。
第八章：机器翻译任务微调
AI天才研究院
05-04 806
第八章：机器翻译任务微调 1. 背景介绍 1.1 机器翻译的重要性 在当今全球化的世界中,有效的跨语言沟通对于促进不同文化之间的理解和合作至关重要。机器翻译技术的发展为克服语言障碍提供了强大的工具,使得人类能够更加便捷地获取和交换信息。无论是在商
基于transformer的机器翻译的任务书
最新发布
08-23
在基于Transformer模型的机器翻译任务中，模型的设计和实现主要依赖于其独特的架构特性，尤其是Self-Attention机制，这种机制允许模型在处理序列数据时实现并行化计算，从而显著提高训练效率[^2]。以下是一些关于基于Transformer模型的机器翻译任务的指导和参考资料： ### 数据预处理 机器翻译任务通常需要大规模的双语语料库。常见的数据集包括WMT（Workshop on Machine Translation）和IWSLT（International Workshop on Spoken Language Translation）等。数据预处理步骤通常包括： - 文本清洗：去除特殊符号、非目标语言字符等。 - 分词与子词分割：使用BPE（Byte Pair Encoding）或SentencePiece等工具将文本分割为子词单元，以减少词汇表规模并提高翻译质量。 - 构建词汇表：根据训练数据生成源语言和目标语言的词汇表。 - 序列填充与截断：将文本转换为固定长度的向量输入。 ### 模型构建 Transformer模型由编码器（Encoder）和解码器（Decoder）组成，每个部分都包含多个相同的层。具体结构如下： - **编码器**：包含多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network），每层后接残差连接（Residual Connection）和层归一化（Layer Normalization）。 - **解码器**：除了包含自注意力机制和前馈网络外，还增加了一个编码器-解码器注意力层（Encoder-Decoder Attention），用于关注编码器输出的关键信息[^3]。 以下是Transformer模型的基本架构示例代码（使用PyTorch框架）： ```python import torch import torch.nn as nn class TransformerModel(nn.Module): def __init__(self, src_vocab_size, tgt_vocab_size, d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1): super(TransformerModel, self).__init__() self.model_type = 'Transformer' self.src_embedding = nn.Embedding(src_vocab_size, d_model) self.tgt_embedding = nn.Embedding(tgt_vocab_size, d_model) self.positional_encoding = PositionalEncoding(d_model, dropout) self.transformer = nn.Transformer(d_model=d_model, nhead=nhead, num_encoder_layers=num_encoder_layers, num_decoder_layers=num_decoder_layers, dim_feedforward=dim_feedforward, dropout=dropout) self.fc_out = nn.Linear(d_model, tgt_vocab_size) def forward(self, src, tgt): src = self.positional_encoding(self.src_embedding(src)) tgt = self.positional_encoding(self.tgt_embedding(tgt)) output = self.transformer(src, tgt) return self.fc_out(output) class PositionalEncoding(nn.Module): def __init__(self, d_model, dropout=0.1, max_len=5000): super(PositionalEncoding, self).__init__() self.dropout = nn.Dropout(p=dropout) pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0, 1) self.register_buffer('pe', pe) def forward(self, x): x = x + self.pe[:x.size(0), :] return self.dropout(x) ``` ### 模型训练 在训练过程中，常用的优化器包括Adam优化器，学习率调度器如StepLR或CosineAnnealingLR可以用于动态调整学习率。损失函数通常使用交叉熵损失（CrossEntropyLoss），并忽略填充标记（padding tokens）的影响。 ### 推理与评估 推理阶段通常使用贪婪解码或束搜索（Beam Search）生成目标语言的翻译结果。评估指标包括BLEU、METEOR、ROUGE等，这些指标可以衡量生成文本与参考翻译之间的相似度。 ### 优化策略 为了提升模型性能，可以采用以下策略： - **数据增强**：通过回译（Back Translation）等方法扩充训练数据。 - **模型集成**：训练多个模型并集成其预测结果。 - **知识蒸馏**：使用大模型作为教师模型，训练更小的学生模型以保持性能的同时减少计算资源消耗。 ### 参考资料 - Vaswani, A., et al. "Attention is All You Need." *Advances in Neural Information Processing Systems*, 2017. - Google AI Blog: Transformer: A Novel Neural Network Architecture for Language Understanding. - PyTorch官方文档中的Transformer模块实现示例。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值