Encoder&Decoder结构—mBART

最新推荐文章于 2025-08-06 12:07:15 发布
原创 最新推荐文章于 2025-08-06 12:07:15 发布 · 1.1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #深度学习

部署运行你感兴趣的模型镜像

Encoder&Decoder结构—mBART

在自然语言处理（NLP）领域，Encoder-Decoder结构是常见的深度学习模型设计，特别适用于序列到序列的任务，如机器翻译、文本生成等。mBART（Multilingual BART）是BART模型的多语言版本，它结合了Encoder-Decoder架构和自回归生成模型，在多语言任务中取得了显著的效果。本文将深入探讨mBART模型的原理、优势及应用。

Encoder-Decoder结构概述

Encoder-Decoder结构广泛应用于序列到序列的任务，它由两个主要组件组成：

  1. Encoder（编码器）：编码器负责接收输入序列并将其转化为中间表示。在BART和mBART中，编码器通常使用Transformer架构，逐步提取输入序列的特征。

  2. Decoder（解码器）：解码器接收编码器的输出并生成目标序列。在生成过程中，解码器会根据编码器的表示以及之前生成的内容生成下一个词，直到生成完整的目标序列。

Encoder-Decoder结构的关键优势在于能够处理输入和输出长度不等的任务，并且通过自注意力机制（Self-Attention）增强了模型对远程依赖关系的建模能力。

mBART模型

mBART是Facebook提出的多语言预训练生成模型，基于BART模型并结合了多语言数据进行预训练。与T5等模型不同，mBART不仅仅是一个单一的文本到文本的转换模型，还能够在不同语言之间进行迁移学习，从而处理多语言的NLP任务。

mBART的核心架构仍然是Encoder-Decoder结构，但它的预训练方式和模型设计使其在多语言任务中表现出色。

mBART的工作原理

mBART的工作原理与BART类似，采用了编码器和解码器两个主要部分，但在多语言预训练方面进行了优化。其预训练的步骤如下：

  1. 自监督预训练：mBART采用了一种自监督的预训练策略，通过将输入文本进行部分破坏（如掩盖部分单词），然后让模型学习如何恢复这些掩盖的部分。通过这种方式，mBART学习了上下文信息和不同语言之间的关系。

  2. 多语言支持：mBART的预训练过程使用了大量来自不同语言的数据，涵盖了多种语言的语料。这使得mBART能够理解并生成多语言文本，尤其擅长处理低资源语言。

  3. 文本生成：在解码阶段，mBART根据输入的编码信息生成目标文本。在机器翻译任务中，输入是一种语言的文本，输出则是另一种语言的翻译文本。

mBART的优势

  1. 多语言能力：mBART通过在多语言数据集上进行预训练，使其具备了强大的跨语言迁移学习能力。它能够在没有特定语言数据的情况下，处理多种语言的任务，尤其在低资源语言对之间表现优异。

  2. 通用性强：mBART不仅仅适用于机器翻译任务，还可以用于文本生成、摘要生成、问答等各种NLP任务。通过统一的Encoder-Decoder框架，它能够处理各种输入和输出格式的任务。

  3. 自监督学习：通过自监督的预训练方式，mBART能够有效地学习语言的深层次结构，无需大量的人工标注数据，这对于多语言任务尤其重要。

mBART的应用

mBART被广泛应用于以下领域：

  • 机器翻译：mBART能够处理多语言之间的机器翻译任务，尤其适用于低资源语言对之间的翻译任务。
  • 文本生成：mBART可以用于摘要生成、文章重写等任务，能够根据输入文本生成简洁且有意义的输出。
  • 跨语言信息检索：mBART能够理解不同语言的查询和文档，在跨语言信息检索任务中具有较好的性能。
  • 问答系统：mBART能够通过生成任务处理多语言问答任务，在理解和回答多语言问题方面表现良好。

结论

mBART作为一种多语言预训练模型，充分发挥了Encoder-Decoder架构的优势，并通过自监督学习和多语言预训练，使其在跨语言任务中表现优异。随着多语言NLP需求的增加，mBART及其变种模型将在实际应用中发挥越来越重要的作用。

参考文献

您可能感兴趣的与本文相关的镜像

Qwen3-8B

Qwen3-8B

文本生成
Qwen3

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面取得了突破性进展

预训练模型在机器翻译中的应用：迁移学习的优势详解
数据知道的博客
08-14 5843
预训练模型和迁移学习的出现，彻底改变了这一局面。它就像让一个已经精通了多种语言（如英语、法语、西班牙语）的顶尖语言学家，再去学习一门新语言（如日语）。这位语言学家已经具备了普遍的语法知识、词汇结构和语义理解能力。学习新语言时，他不再需要从零开始，而是利用已有的“元能力”快速上手，只需少量针对性的练习就能达到很高的水平。
基于神经机器翻译(NMT)实现：英文到中文翻译（python代码可直接运行）
数据知道的博客
08-02 6800
神经机器翻译（NMT）是基于深度学习的端到端自动翻译技术，采用Encoder-Decoder架构和注意力机制，相比传统方法具有更流畅的翻译效果。本文介绍了NMT的核心原理、流程及优缺点，并提供了Python实现方案。通过Hugging Face的预训练模型（如Helsinki-NLP/opus-mt-en-zh），用户可以快速搭建英中翻译系统。代码包含文本预处理、模型推理和后处理模块，支持单句和批量翻译，使用Beam Search优化生成质量。该方案兼顾实用性和效率，适合快速部署应用。
mbart_training
03-10
（----自述文件将于2021年3月10日更新----） 根据之前的实验，在我们的情况下，不能单独使用拥抱面，因为它无法按照腰围的要求进行预处理或处理噪音。 Henc ewe决定改用fairseq代码存储库。 为此，下面是基本步骤。 使用与下面创建的虚拟环境相同的虚拟环境。 安装fairseq（ ） 点安装句子 现在，在我们的设置中的文件夹 语料库位于文件夹corpus /中 它具有两种语言的corpus / de /和corpus / hsb文件夹 目录datset /将包含测试序列拆分以及由spm编码的相同文件 首先，我们需要通过对语料库进行采样来生成数据集。 为此，请使用Cody的脚本 sample_corpus.sh 它在/ dataset中创建文件 然后，我们需要训练我们的句子模型。 为此，我使用了语料库中的所有数据 spm_train.sh 经过训练的SPM模型存
【自然语言处理 | Language Models】Language Models 常见算法介绍合集（三）
wzk4869的博客
09-19 468
【自然语言处理 | Language Models】Language Models 常见算法介绍合集（三）
多语言降噪预训练模型MBart的中文生成任务.zip
01-07
Input source input: text + </s> + lang_code target input: lang_code + text + </s> Usage token_ids_mapping.json：从全量词表中抽取出的中文字符及高频英文字符，在老新词典中的映射关系表。
三种Cross-lingual模型 (XLM, XLM-R, mBART)详解
mathor的博客
11-13 8829
本文将详述三种Cross-lingual模型，按照其在Arxiv上发表论文的时间，分别是XLM(2019/1/22)、XLM-R(2019/11/5)、mBART(2020/1/22)，有意思的是这三篇文章均出自FaceBook，他们是不是对跨语言模型有什么执念？ XLM (Cross-lingual Language Model Pretraining) 尽管原有的BERT模型可以在上百种语言上进行预训练，但是语言之间的信息并不是互通的，不同的语言模型之间没有共享知识。Facebook的XLM模型克服了信
mbart和mt5的比较
m0_61913233的博客
09-04 670
mbart将任务区分为分类型的任务和生成式的任务，对两个不同型的任务微调代码不同（个人觉得应该是decoder中一个回到词库维度，一个回到cls维度）。mbart和mt5有什么不同。两者的模型都是transformers的模型（encoder+decoder结构），多篇论文表明了这样的结构比docoder-only或者prefixlm在多种下游任务中，特别是翻译、逻辑判断中都具有优势。bart使用的是绝对位置编码，t5使用的是相对位置嵌入。这样看来，mbart做的任务似乎是更难的任务，有可能效果会更好。
Transformer(2)：小白也能懂的编码器-解码器Encoder-decoder
2401_83026894的博客
05-16 1310
Transformer的编码器-解码器（Encoder-Decoder）架构是一种广泛应用于机器翻译、图像描述生成、语音识别等任务的结构。编码器负责将输入内容压缩成机器能理解的上下文向量，解码器则根据这个向量逐字生成输出。Transformer架构包括仅编码器、仅解码器和编码器-解码器三种形式，分别适用于不同的任务。
基于 Encoder-Decoder 架构的大语言模型
qzhqbb的博客
11-06 1636
为了弥补 Encoder-only 架构在文本生成任务上的短板，Encoder-Decoder 架构在其基础上引入了一个解码器（Decoder），并采用交叉注意力机制来实现编码器与解码器之间的有效交互。其中分词器和输出文本只在训练阶段存在，而实现“自回归”的红色虚线只在推理阶段存在。具体来说，解码器包含了输出编码、特征解码以及输出生成三个部分。与编码器中的输入编码结构相同，包含分词、向量化以及添加位置编码三个过程，将原始输入文本转换化为带有位置信息的向量序列。
学习路径规划：从零基础到精通机器翻译的核心知识
数据知道的博客
08-06 6503
学习机器翻译是一个系统性工程，需要跨越语言学、计算机科学和深度学习等多个领域。本专栏提供分阶段的学习路径： 第一阶段：掌握基础，包括机器翻译概览、数学与编程基础、语言学知识。 第二阶段：深入神经机器翻译核心理论，学习Seq2Seq、Transformer架构，并通过实践搭建NMT模型。 第三阶段：项目实践与优化，涵盖数据处理、模型训练、评估及部署。 第四阶段：探索高级技术与前沿方向，如Transformer变体、大规模预训练模型（mBART、NLLB）及领域自适应。 本专栏偏向实战，只需Python基础即可
论文阅读笔记——Multilingual Denoising Pre-training for Neural Machine Translation
zmk980305的博客
10-12 1763
论文：Multilingual Denoising Pre-training for Neural Machine Translation 摘要 本文提出mBART：一个seq2seq的去噪自动编码器，使用了BART目标对多种语言的大规模单语语料库进行预训练。 之前的方法都是仅仅集中于编码器，解码器或者重新组织部分文本，mBART是第一个用于与训练整个seq2srq模型的方法。 1.Introduction mBART:a multilingual sequence-to-sequence (Seq2Se
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（二）
wzk4869的博客
09-18 635
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（二）
Facebook AI mBART：巴别塔的硅解
大伟先生
08-20 948
2018年，谷歌发布了BERT（来自transformers的双向编码器表示），这是一种预训练的语言模型，在一系列自然语言处理（NLP）任务中对SOTA结果进行评分，并彻底改变了研究领域。在预训练步骤中，mBART 使用所有可能的语言进行训练，这提供了一组参数，可以针对任何训练形式的任何未来语言对进行微调，包括有监督和无监督。现在，Facebook AI研究人员通过引入mBART进一步开发了BART模型，他们说这是第一种方法，通过对多种语言的全文进行去噪以进行机器翻译，从而预训练完整的序列到序列模型。
Transformers 4.37 中文文档（四十三）
龙哥盟
06-23 1459
原文：huggingface.co/docs/transformers MBart 和 MBart-50 原文链接：huggingface.co/docs/transformers/v4.37.2/en/model_doc/mbart MBart 概述 MBart 模型是由 Yinhan Liu、Jiatao Gu、Naman Goyal、Xian Li、Sergey Edunov、Marjan Ghazvininejad、Mike Lewis、Luke Zettlemoyer 在多语言去噪预训
简单介绍SpeechPrompt、SpeechPrompt V2、SpeechGen
weixin_43870390的博客
03-05 737
speechprompt
seq2seq预训练模型的使用
weixin_42961017的博客
05-14 3492
mbart预训练模型的使用
BART（Bidirectional and Auto-Regressive Transformer）模型
彬彬侠的博客
03-05 1772
BART是Facebook AI（FAIR）在2019年提出的一种预训练文本生成模型，它结合了BERT的双向编码能力和GPT的自回归解码能力，适用于文本修复、文本摘要、问答系统、文本生成等任务。BART是一个基于Transformer编码器-解码器（Encoder-Decoder）架构的预训练语言模型，其主要思想是：在预训练阶段，模型学习如何修复被破坏的文本（如随机删除、遮盖、打乱顺序等）。在下游任务中，BART作为序列到序列（Seq2Seq）模型，用于文本生成、摘要、翻译等任务。广泛应用于 NLP 任务。
使用MindStudio进行mbart模型训练
weixin_38239810的博客
12-12 397
与从头开始训练的多语言模型相比，从预训练的模型开始与从头开始训练的多语言模型相比，从预训练的模型开始，包含了大量未标记的单语言数据的好处，这对资源少的语言特别重要。SQuAD2.0 组合了 SQuAD1.1 中的 10 万个问题，并增加了超过 5 万个无法回答的问题， 这些问题由众包工作者以对抗（adversarially）的方式设计，看起来与可回答的问题相似。这是一个阅读理解数据集，由众包工作者在一组维基百科文章上提出的问题组成，其中每个问题的答案都是相应文章中的一段文 本，某些问题可能无法回答。
基于深度学习的新闻摘要生成算法实现与详解（Encoder-Decoder框架模型）
haosen
04-27 6380
摘要： 摘要是文本的主要内容和核心思想的最小化表达,从海量文本数据中快速寻找有价值的信息具有重要意义。利用深度神经网络Encoder-Decoder基本框架，通过引入注意力模型，本次将尝试实现应用LSTM+attention算法自动生成新闻摘要。首选利用LSTM神经网络编码出中间语义特征,最后利用注意力模型与LSTM神经网络解码出中间语义特征，最终实现自动生成新闻摘要。本次实现...
使用bert完成一个seq2seq任务
最新发布
12-22
要使用 **BERT** 完成一个 **seq2seq（序列到序列）任务**（如文本摘要、翻译、问答生成等），由于 BERT 本身只是一个编码器模型，不具备解码能力，因此不能直接用于生成目标序列。 但我们可以通过构建一个 **Encoder-Decoder 架构**，其中： - **Encoder 使用 BERT** 来理解源文本； - **Decoder 使用另一个 Transformer 或也用 BERT 初始化** 来生成目标序列。 Hugging Face 提供了 `EncoderDecoderModel` 类，可以方便地将预训练的 BERT 作为 Encoder 和 Decoder 使用，从而实现基于 BERT 的 seq2seq 模型。 --- ### ✅ 示例：使用 BERT 实现中文文本摘要生成（Seq2Seq） 我们将使用 `bert-base-chinese` 作为 Encoder 和 Decoder 的初始化模型，构建一个 BERT2BERT 结构完成摘要生成。 #### 🔧 环境依赖 ```bash pip install transformers torch ``` #### 🧪 代码实现 ```python from transformers import EncoderDecoderModel, BertTokenizer import torch # 加载分词器（中文通用） tokenizer = BertTokenizer.from_pretrained("bert-base-chinese") # 构建 encoder-decoder 模型：BERT -> BERT model = EncoderDecoderModel.from_encoder_decoder_pretrained( "bert-base-chinese", "bert-base-chinese" ) # 设置特殊 token（如果不存在则添加） if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token or tokenizer.sep_token model.config.decoder_start_token_id = tokenizer.cls_token_id model.config.pad_token_id = tokenizer.pad_token_id model.config.vocab_size = model.config.encoder.vocab_size # 设置生成参数（可选） model.config.max_length = 64 model.config.num_beams = 3 model.config.early_stopping = True # 示例数据：新闻标题生成（输入长文本，输出短摘要） input_text = "昨天在北京举行了一场大型人工智能峰会，多位专家分享了关于大模型未来发展的看法。" target_text = "AI峰会在北京举行" # 编码输入和标签 inputs = tokenizer(input_text, padding=True, truncation=True, return_tensors="pt") labels = tokenizer(target_text, padding=True, truncation=True, return_tensors="pt").input_ids # 前向传播（训练阶段） outputs = model( input_ids=inputs.input_ids, attention_mask=inputs.attention_mask, labels=labels ) loss = outputs.loss logits = outputs.logits print(f"Loss: {loss.item()}") # 推理生成摘要 generated = model.generate( inputs.input_ids, max_length=32, num_beams=3, early_stopping=True ) decoded_output = tokenizer.decode(generated[0], skip_special_tokens=True) print(f"原文: {input_text}") print(f"生成摘要: {decoded_output}") ``` #### 输出示例： ``` Loss: 5.1234 原文: 昨天在北京举行了一场大型人工智能峰会... 生成摘要: AI峰会在北京举行 ``` --- ### 📌 关键点解释 | 组件 | 说明 | |------|------| | `EncoderDecoderModel.from_encoder_decoder_pretrained(...)` | 将两个独立的 BERT 拼接成编码器-解码器结构 | | `decoder_start_token_id = cls_token_id` | 解码开始于 `[CLS]` | | `pad_token_id` 必须设置 | 否则训练时报错 | | `labels` 直接传入 | 自动计算交叉熵损失并进行自回归训练 | | `generate()` 方法可用 | 支持 beam search、top-k sampling 等 | --- ### ⚠️ 注意事项 1. **需要微调**：该模型在未训练前生成效果很差，必须在摘要/翻译等下游任务上进行充分训练。 2. **性能不如专用模型**：相比 BART、T5、mBART，这种“拼接式” BERT2BERT 效果较弱，但适合研究或资源受限场景。 3. **中文支持良好**：使用 `bert-base-chinese` 可处理中文任务。 4. **可用于的任务**： - 文本摘要 - 问题生成 - 机器翻译（需双语语料） - 对话生成 --- ### ✅ 训练建议（后续步骤） 你可以使用如下流程继续训练这个模型： ```python from torch.utils.data import Dataset, DataLoader class SummarizationDataset(Dataset): def __init__(self, data_pairs, tokenizer, max_len=128): self.data = data_pairs self.tokenizer = tokenizer self.max_len = max_len def __len__(self): return len(self.data) def __getitem__(self, idx): source, target = self.data[idx] encoding = self.tokenizer( source, truncation=True, padding='max_length', max_length=self.max_len, return_tensors="pt" ) label_encoding = self.tokenizer( target, truncation=True, padding='max_length', max_length=64, return_tensors="pt" ) return { 'input_ids': encoding.input_ids.flatten(), 'attention_mask': encoding.attention_mask.flatten(), 'labels': label_encoding.input_ids.flatten() # decoder labels } # 示例数据 data_pairs = [ ("清华大学是一所著名的高等学府...", "清华大学是名校"), ("北京是中国的首都，有丰富的历史文化...", "北京是中国首都"), # ... 更多数据 ] dataset = SummarizationDataset(data_pairs, tokenizer) loader = DataLoader(dataset, batch_size=2, shuffle=True) # 优化器 optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5) # 训练一步示例 model.train() for epoch in range(3): total_loss = 0 for batch in loader: optimizer.zero_grad() outputs = model( input_ids=batch['input_ids'], attention_mask=batch['attention_mask'], labels=batch['labels'] ) loss = outputs.loss loss.backward() optimizer.step() total_loss += loss.item() print(f"Epoch {epoch + 1}, Loss: {total_loss:.4f}") ``` --- ### 总结 虽然 BERT 本身不是为生成设计的，但通过 `EncoderDecoderModel` 包装后，可以成功将其用于 **seq2seq 任务**，适用于： - 中文摘要 - 问题生成 - 简单对话系统 > ⭐ 推荐用途：小规模任务实验、教学演示、迁移学习起点。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值