On the use of BERT for Neural Machine Translation论文阅读

最新推荐文章于 2025-06-13 09:38:49 发布
最新推荐文章于 2025-06-13 09:38:49 发布
阅读量366 收藏
点赞数 2
文章标签： bert 机器翻译 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/rainy_universe/article/details/127453341
版权

摘要

  1. 本文研究了如何利用BERT预训练模型进行有监督的神经机器翻译
  2. 比较了将预训练的BERT模型与NMT模型整合的各种方法，并研究了用于BERT训练的单语数据对最终翻译质量的影响
  3. 文章使用WMT-14英语-德语、IWSLT15英语-德语和IWSLT14英语-俄语数据集进行这些实验。 除了标准的任务测试集评估，试集和注入噪声的测试集进行了评估，以评估BERT预训练的表示如何影响模型的稳健性

介绍

  1. 使用预训练的LM进行神经机器翻译是很有吸引力的
    • R1：预训练的语言模型，如ELMO和BERT，通过将从数据丰富的单语语料库中学到的先验知识转移到数据 频发的NLP任务，如QA、生物医学信息提取和标准基准，已被证明能够显著提高若干自然语言处理任务的质量
    • R2：有研究表明，这些表征在预训练网络的不同层中含有句法和语义信息
  2. 然而，上述工作的结果并不能直接相互比较，因为它们使用了不同的方法、数据集和任务。此外，预训练的LMs大多在低资源或无监督的NMT环境中显示出改进，而在有合理数据量的标准监督场景中的研究却很少
  3. 目前最先进的NMT模型依赖于Transformer模型，本篇文章研究如何将预训练的BERT模型用于基于Transformer的NMT，从而利用它们依赖于相同的架构这一事实
  4. 这项工作的目标是双重的。一方面，我们希望对不同的BERT+NMT架构进行系统的比较，以实现标准的有监督的NMT。此外，我们认为，使用预训练表征的好处在以前的研究中被忽视了，应该在域内数据集的BLEU分数之外进行评估❓。事实上，在巨大的数据集上训练的LM有可能在总体上更加稳健，并提高MT中领域适应的性能

相关工作

  1. word representations

    • word2vec

    • ELMO采用了Bi-LSTM网络进行语言建模，并提出结合不同的网络层来获得有效的单词表示

    • BERT模型被证明在各种NLP任务中具有出色的表现，有工作提出将其中Transformer的自注意机制替换为两个方向性的自注意模块

  2. NMT

    • back translation是迄今为止利用大型单语数据的最有效方式之一，但是缺点是只适用于目标语言的数据增强；而预训练的LM可以同时用于源语言和目标语言
    • 有工作使用在多语言语料库上训练的预训练MaskLM或跨语言MaskLM语言模型初始化整个编码器和解码器

  3. 文章的工作试图对上述一些NMT模型中加入预训练的LM的架构进行系统地比较，主要集中在应用于监督机器翻译的BERT预训练的LM表示

  4. 鲁棒性问题

    • 数据增强的鲁棒性问题已被解决
    • 本文研究了鲁棒性问题是否可以在模型级别而不是数据级别上解决

方法

  1. 典型的NMT模型采用编码器—解码器结构，编码器从源句形成上下文的单词嵌入，解码器从左向右生成目标翻译

  2. 预训练的LM，即BERT，可以为NMT的编码器部分注入先验知识，提供从大型单语语料库中学习的丰富的语境化词汇嵌入，此外，预训练的LMs可以被训练一次，然后在不同的语言对中重复使用

  3. 本篇文章着重于为NMT编码器重新使用BERT模型

    • 基线模型：一个具有共享解码器输入输出嵌入参数的transformer大模型

    • 基线模型，其中embedding层被BERT参数所取代，然后对模型进行微调

    • 基线模型，编码器按Lample和Conneau的BERT参数进行初始化

    • 基线模型，编码器由BERT参数初始化并冻结

  4. BERT预训练相比NMT训练有以下优势

    • 与NMT（双语任务）相比，它解决了一个更简单的单语（源句编码）任务
    • 它有可能利用更大的数据，而NMT编码器只限于平行语料库的源语言部分，在巨大的数据集上训练的语言模型有可能在总体上更加稳健
    • 由于BERT模型被训练为从其上下文中预测缺失的标记，它们的表示也可能对缺失的标记或嘈杂的输入更加稳健

  5. 即使NMT编码器的作用可能超出了源句编码，可能会在编码器层面编码“翻译相关”的信息，但是使用BERT预训练的LM对编码器进行更好的初始化可以使NMT学习更快

    文章通过比较冻结BERT参数和微调BERT参数的设置，可以对编码器—解码器模型学习“翻译相关”信息的能力进行一些说明

    一些想法：自编码器？预训练解码器？解码器冻结？

实验

预处理

机器翻译中分词方法：BPE（Byte Pair Encoding）

算法步骤：

  1. 准备足够大的训练语料
  2. 确定期望的subword词表大小
  3. 将单词拆分为字符序列并在末尾添加后缀</w>，本阶段的subword的粒度是字符，例如，low的频率为5，那么我们将其改写为"l o w </w>":5
  4. 统计每一个连续字符对的出现频率，选择最高频合并成新的subword
  5. 重复第4步直到达到第2步设定的subword词表大小或下一个最高频的字节对出现频率为1
训练

  1. 对于预训练BERT模型，文章使用了三种不同规模和不同领域的单语语料库

    • NMT-src：用于NMT模型训练的并行语料库的源部分

      使用NMT-src的动机是为了测试在对源语料库进行训练后，所得到的NMT模型是否更加强大

    • Wiki（域外数据）

    • News（主要由域内数据组成）

  2. 预训练细节

    • 只考虑BERT的masked LM任务
    • 基于token频率来选择15%的标记进行掩盖，而不是均匀抽样
    • 对掩盖的token没有选择MASK标记而是选择了UNK标记
    • 只输入单句
    • 在编码器端不使用[CLS]标记

  3. NMT训练

    • 使用WMT-14 English-German数据集
    • 使用Transformer-Big型
评估

  1. 文章认为，预训练LM对于NMT模型的影响不能仅通过域内测试集上的BLEU性能来衡量，因此文章引入了额外的评估，对不同域外测试的影响

  2. 鲁棒性评估

    • 向测试集添加噪声
    • 在句子的开头（注明UNK.S）或句子的结尾（注明UNK.E）引入一个未知的字符

    BLEU可以衡量candidate中有多少词出现在reference中，它有许多变种，根据n-gram可以划分为多种评价指标，常见的指标有BLEU-1、BLEU-2、BLEU-3、BLEU-4四种，其中n-gram指的是连续的单词个数为n

    举例：

    candidate: the cat sat on the mat

    reference: the cat is on the mat

    以BLEU-2为例，对candidate中的5个词，{the cat, cat sat, sat on, on the, the mat}，有3个词出现在reference中，所以

    b l e u 2 = 3 5 = 0.6 bleu_2=\frac{3}5=0.6 bleu2​=53​=0.6

    参考：BLEU详解 - 知乎 (zhihu.com)

    CHRF和BLEU评价指标最大的不同之处在于，BLEU是单词级的，CHRF是字符级的，也就是基于字符n-gram计算的，

    CHRF的计算公式：

    chrF ⁡ β = ( 1 + β 2 ) chr ⁡ P ⋅ chr ⁡ R β 2 ⋅ chr ⁡ P + chr ⁡ R \operatorname{chrF} \beta=\left(1+\beta^{2}\right) \frac{\operatorname{chr} P \cdot \operatorname{chr} R}{\beta^{2} \cdot \operatorname{chr} P+\operatorname{chr} R} chrFβ=(1+β2)β2⋅chrP+chrRchrP⋅chrR​

    1. chr ⁡ P \operatorname{chr} P chrP是查准率，就是候选文和参考文匹配的字符级n-gram在候选文中占的比例
    2. chr ⁡ R \operatorname{chr} R chrR是查全率，就是候选文和参考文匹配的字符级n-gram在参考文中占的比例

    参考：NLG评估指标chrF、chrF++介绍_地大陈参志的博客-优快云博客

    • 建议查看噪声测试集和原始测试集之间句子的 c h r F chrF chrF分布
      • 在分析中，我们将报告∆(chrF)的分布和它的平均值作为一个总结。如果一个模型善于处理噪声，那么产生的句子将与无噪声的输入句子产生的句子相似。因此，∆(chrF)将更接近于零
结果
  1. 用BERT参数冻结编码器会导致翻译质量的大幅下降，然而，其他BERT+NMT架构在域内和域外测试集上大多比基线有所改善
    • 结论是，由BERT编码的信息是有用的，但不足以执行翻译任务，文章认为，NMT编码器的作用是既要编码源句的特定信息，又要编码目标句的特定信息（这在BERT训练中是缺失的）
  2. 即使NMTSrc.FT（NMT编码器被初始化为在平行语料库的源部分上训练的BERT）也比基线有所改善，因此BERT预训练被认为可以为NMT模型提供一个更好的初始化方式
  3. FT和Emb结果相差不大，虽然Emb将NMT编码器的大小增加一倍
鲁棒性分析
  1. 用屏蔽的LM任务对编码器进行预训练并不能真正带来对鲁棒性的改善

IWSLT实验

探索在较低资源环境下对NMT进行屏蔽语言建模编码器预训练的潜力，结果是，在任何情况下，BERT预训练的模型都比基线有所改进

讨论

  1. BERT中的下一句预测任务对于提高性能是没有必要的—屏蔽语言建模任务足够
  2. 预训练编码器为NMT编码器提供了更好的初始化
  3. 随着训练数规模的减小，BERT预训练的影响更加重要
  4. BERT所编码的信息不足以进行翻译，因为NMT编码器既编码源句的特定信息，也编码目标句的信息
  5. 对编码器进行预训练使我们能够训练更大的模型
  6. 对BERT预训练编码器进行微调更方便：与重用BERT作为嵌入层相比，它的性能相似，解码速度更快
  7. BERT预训练模型似乎在不同的噪声和域测试集上表现得更好，然而，我们并没有设法获得明确的证据来证明这些模型更可靠

编码器在NMT中的作用？

总结

  1. 文章比较了BERT语言模型用于机器翻译的不同方法，特别是，文章认为，使用预训练的表示的好处不仅应该根据域内数据的BLEU评分来评估，还应该根据新域的泛化和鲁棒性来评估
  2. 对编码器进行微调会导致与重新使用编码器作为额外的嵌入层相当的结果，然而 ，前者的优点是保持与标准NMT设置相同的模型大小，而后者则为NMT模型增加了额外的参数，大大增加了模型的大小 ，在某些情况下可能是至关重要的
  3. 稳健性测试的结论尚不明晰，即使预先训练的BERT模型在有噪声的测试集上获得了更好的性能，它们似乎并没有比预期的更健壮，而且掩码LM任务的潜力没有被充分利用到机器翻译中
雨宙
关注
大语言模型之九- BERT
shichaog的专栏
06-11 3461
Natural Language Processing(NLP)包括自然语言理解和自然语言生成，自然语言理解的应用包括语义分析、机器客服、语音识别、机器翻译等。transformer这一深度网络架构在NLP领域占有举足轻重的地位，BERT是基于transformer的自然语言模型，相比于同样基于transformer的GTP3自然语言模型，transformer最早于2017由谷歌研究团队论文《Attention is all You Need》中提出，这带来了NLP领域重大进步。BERT有很多变种架构，R
Neural machine translation in practice: The Pile Benchm
AI天才研究院
08-07 843
作者：禅与计算机程序设计艺术Neural Machine Translation (NMT) is a critical component of modern NLP systems that has become the de facto standard for processing human language. It enables machines to understand and generate natural language with high accuracy, which is e
bert简介_首篇严肃的“BERT学”研究，40+ 论文对比，解读 BERT 工作原理
weixin_39665847的博客
12-22 1047
作者 | 张景俊编辑 | 丛 末目前，不管是工业界还是学术界，基于 Transformer 的模型已经广泛应用于自然语言处理(NLP)任务中，然而很多人依然对这些模型的内部工作机制知之甚少。论文链接：https://arxiv.org/abs/2002.12327基于此背景，Anna Rogers等人对当前霸占各大NLP任务榜单的 BERT 模型进行了论述，分析了BERT模型工作机理，包括pre-...
用Bert做英法机器翻译
肥仔的博客
05-19 3977
过程基本参考自BERT实战——（5）生成任务-机器翻译，结合我个人的数据集在数据处理部分做了些调整，完整代码可见translate.ipynb 一、数据处理 我的数据集是这样的： 第一列是英文，第二列是对应的法文翻译，第三列是文本来源，所以说第三列是不需要的 1.首先是读取数据，把前两列存入数组中，并把前90%的数据作为训练集，后10%的数据作为验证集 f=open("fra.txt","r",encoding="utf-8").readlines() en=[] fre=[] data=[] for l
Nature | 人工智能模型越大就越好吗？
weixin_4528312的博客
08-18 872
随着生成式人工智能模型（AI）变得越来越大、越来越强大，一些AI科学家开始提倡更精简、更节能的系统。针对这个趋势，著名科技杂志《Nature》最近发表了专题文章，质疑人工智能模型是否总是越大型越好。
CN-EN-Translation-BERT
あずにゃん梓喵的博客
08-20 656
github下载代码 https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book https://github.com/dragen1860/TensorFlow-2.x-Tutorials attention.py import tensorflow as tf def scaled_dot_product_a...
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 5213
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
NLP系列经典论文(2) -- BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
Levi_Ackerman__的博客
12-16 1274
首先放原文链接 https://arxiv.org/pdf/1810.04805.pdfhttps://arxiv.org/pdf/1810.04805.pdf Abstract We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language
自然语言处理之机器翻译：Neural Machine Translation (NMT)：NMT的评估与质量保证
zhubeibei168的博客
04-11 987
Neural Machine Translation (NMT), 或神经网络机器翻译，是一种基于深度学习的机器翻译方法。与传统的统计机器翻译和基于规则的机器翻译不同，NMT使用神经网络模型来学习源语言和目标语言之间的映射关系，从而实现翻译任务。NMT的核心组件包括编码器（Encoder）和解码器（Decoder）。
A Survey of the Usages of Deep Learning for Natural Language Processing2019综述学习
weixin_45562632的博客
09-07 2212
A Survey of the Usages of Deep Learning for Natural Language Processing2019综述学习1.介绍2.自然语言处理和深度学习2.1自然语言处理2.2神经网络和深度学习2.2.1 CNN 摘要 在过去的几年里，随着深度学习模型的大量使用，自然语言处理领域得到了极大的发展。本调查对该领域进行了简要介绍，并简要概述了深度学习体系结构和方法。然后，它筛选了大量最近的研究，并总结了大量相关的贡献。分析的研究领域除了计算语言学的一些应用外，还包括几个核
AAAI 2020 阅读论文笔记
Xiao_yanling的博客
04-26 1234
Towards Making the Most of BERT in Neural Machine Translation 目的：如何更好的使用预训练模型？—>微调效果并不好；上一篇笔记中的方法将BERT embeddings作为encoder的初始化或者中间的嵌入比较适用于低资源的情况，在高资源情况下由于训练中的太多更新，会导致遗忘。 方法： （1）Asymptotic Distilat...
Neural Machine Translation论文阅读笔记
AprilNing的博客
06-23 7058
Massive Exploration of Neural Machine Translation Architectures, Google Brain2017该文章主要做了大量的实验，可做为overview读。 总结点： 1. encoder比decoder更难优化；LSTM比GRU效果好；beam search很重要；data preprocessing对结果影响很大，该文章直接用的是Mo
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2448
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
【论文笔记】CSP: Code-Switching Pre-training for Neural Machine Translation
gjh1716718326的博客
01-25 1315
现在预训练方法存在的问题： 在现有方法中，普遍使用了人造符号“[MASK]”。而在真实数据中是不存在这样的人造符号的，这导致了预训练和微调存在差异。 对跨语言的对齐信息（如果存在的话）利用不是很充分。 CSP方法的简要说明：不再使用[MASK]去随机替代源语言中的词，而是使用原词在目标语言中的对应词去进行替换，仍旧让模型去预测原词是什么。 第一步：创建共享词表 因为要做目标语言替换，所以必须共享词表（即编码器和解码器共用词表，但不是源语言和目标语言词表的简单拼加，而是做空间映射得到的新词表）。否则任何
论文笔记 - 《Implementing block-sparse matrix multiplication kernels using Triton》
Lisen’s blog
06-11 875
本文提出利用Triton DSL重构MegaBlocks系统中块稀疏矩阵乘法内核的方法，解决了原有CUDA实现存在的通用性不足和维护困难问题。研究者通过设计混合CSR-COO稀疏格式存储方案，结合Triton的高层抽象编程模型，实现了与手工优化CUDA内核相当的运算性能（吞吐量0.96-1.1倍），同时代码量减少10倍至298行。该方法突破了原始实现固定128x128块大小和fp16数据类型的限制，支持多种硬件架构和参数配置，为混合专家模型的研究和部署提供了更灵活高效的实现方案。实验表明，Triton在保持
LDStega论文阅读笔记
写代码的小阿帆的博客
06-11 1196
现有的生成图像隐写方法在可控性、可用性和稳健性方面仍面临挑战，因此难以应用真实场景，所以作者设计了一种基于潜在扩散模型的实用且强大的生成图像隐写术，称为 LDStega。LDStega以可控条件文本作为输入，并在潜在扩散模型的相反过程中设计了一种编码策略，将潜在空间生成与数据隐藏耦合。编码策略从由秘密数据引导的截断高斯分布的候选池中选择一个截断区间，以生成 stego 潜在空间。随后，将隐写潜在空间输入解码器以生成隐写图像。相反的过程中，接收器从有损重构潜在空间的全局高斯分布中提取秘密数据。
[论文阅读] 算法 | 布谷鸟算法在声源定位中的应用研究
张较瘦
06-11 1439
本文聚焦多声源定位难题，介绍了布谷鸟算法（CS）在该领域的应用。通过将声源定位建模为最小二乘优化问题，利用CS的Levy飞行机制和概率迭代策略，实验验证了其在精度和效率上优于遗传算法（GA）和粒子群算法（PSO）。研究为复杂环境下的多声源定位提供了新的高效解决方案。
【论文阅读】多任务学习起源类论文《Multi-Task Feature Learning》
qq_38142901的博客
06-10 1254
该论文提出了一种通过**低纬度表征多任务共性**的方法.通过建立一个1维范式问题将多任务共同学习特征数进行正则化.这个问题等价于一个凸优化问题,用迭代算法进行求解.整个算法可以理解为**非监督模块与监督模块,前者学习多任务的共同表征,后者使用该表征学习每个任务的目标.**
论文阅读：arxiv 2025 Chain of Draft: Thinking Faster by Writing Less
最新发布
CSPhD-winston的博客
06-13 544
CoD证明了大模型推理不必“啰嗦”，用简洁的“要点式”思考既能保证准确性，又能显著提升效率、降低成本，为大模型的实际应用（尤其是对延迟和成本敏感的场景）提供了新方向。
self attention的应用
03-08
### Self-Attention Mechanism Applications in Deep Learning and NLP In the realm of natural language processing (NLP), self-attention mechanisms have emerged as pivotal components within neural network architectures, significantly enhancing model performance across various tasks. These mechanisms allow models to weigh different words or tokens differently when generating an output for each position in a sequence. #### Text Summarization One prominent application area involves text summarization where self-attention helps capture long-range dependencies between sentences more effectively than traditional recurrent neural networks can achieve[^1]. By focusing on relevant parts of input documents during encoding phases, these models produce concise yet informative summaries that retain key information from original texts. #### Machine Translation For machine translation systems, incorporating self-attentive layers enables better handling of word reordering phenomena common among languages with differing syntactic structures. This results not only in improved fluency but also greater accuracy compared to previous approaches relying solely upon convolutional or recursive designs[^3]. #### Sentiment Analysis Another critical use case lies within sentiment analysis frameworks which leverage this technique's ability to identify salient features indicative of positive/negative sentiments expressed through social media posts or product reviews automatically. The enhanced contextual awareness provided by such implementations leads directly toward higher classification accuracies over time. ```python import torch.nn.functional as F from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def encode_text(text): inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs)[0] return outputs.mean(dim=1) text_example = ["I love programming.", "Deep learning is fascinating."] encoded_texts = encode_text(text_example) print(encoded_texts.shape) # Output tensor shape after mean pooling ``` The above code snippet demonstrates how one might utilize pre-trained BERT models—which employ multi-head self-attention internally—to obtain fixed-size embeddings representing entire pieces of textual content efficiently. #### Named Entity Recognition (NER) Furthermore, named entity recognition benefits greatly due to its capacity for capturing relationships amongst entities mentioned throughout lengthy passages without losing focus on specific mentions crucial for correct labeling outcomes at test-time evaluation stages.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值