使用BART模型和T5模型实现文本改写

BART模型

BART（Bidirectional and Auto-Regressive Transformers）是由 Facebook AI Research（FAIR）在 2019 年提出的序列到序列（seq2seq）预训练模型，论文发表于《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》。

它结合了 BERT 的双向编码器 和 GPT 的自回归解码器，专为文本生成任务（如摘要、翻译、对话）设计，同时在理解任务（如分类、问答）上也表现优异。

BART 通过灵活的预训练任务和统一的编解码架构，成为生成与理解任务的通用基础模型，尤其适合需要同时处理输入理解和输出生成的场景。

核心特点

架构：标准 Transformer 编解码器

• 编码器：双向 Transformer（类似 BERT），理解上下文。

• 解码器：自回归 Transformer（类似 GPT），从左到右生成文本。

• 参数规模：从 BART-Base（140M）到 BART-Large（400M）。

预训练任务：文本破坏与还原（Denoising Autoencoder） 通过多种噪声破坏输入文本，再让模型还原原始文本，提升生成与理解能力：

• Token Masking（类似 BERT）：随机遮盖词（如 [MASK]）。

• Token Deletion：随机删除词，需还原位置和内容。

• Text Infilling：用单个 [MASK] 替换连续片段（如 SpanBERT），需生成缺失片段。

• Sentence Permutat