【DataWhale AI 夏令营】NLP：基于术语词典干预的机器翻译挑战赛——task2

一、赛题任务

基于术语词典干预的机器翻译挑战赛选择以英文为源语言，中文为目标语言的机器翻译。本次大赛除英文到中文的双语数据，还提供英中对照的术语词典。参赛队伍需要基于提供的训练数据样本从多语言机器翻译模型的构建与训练，并基于测试集以及术语词典，提供最终的翻译结果。

二、赛题数据

• 训练集：双语数据 - 中英14万余双语句对
• 开发集：英中1000双语句对
• 测试集：英中1000双语句对
• 术语词典：英中2226条

三、基于 Seq2Seq 的 Baseline

1. 配置环境

安装torchtext、jieba、sacrebleu库

• torchtext ：是一个用于自然语言处理（NLP）任务的库，它提供了丰富的功能，包括数据预处理、词汇构建、序列化和批处理等，特别适合于文本分类、情感分析、机器翻译等任务
• jieba：是一个中文分词库，用于将中文文本切分成有意义的词语
• sacrebleu：用于评估机器翻译质量的工具，主要通过计算BLEU（Bilingual Evaluation Understudy）得分来衡量生成文本与参考译文之间的相似度

!mkdir ../model
!mkdir ../results
!pip install torchtext
!pip install jieba
!pip install sacrebleu

安装spacy库

• spacy：是一个强大的自然语言处理库，支持70+语言的分词与训练

!pip install -U pip setuptools wheel -i https://pypi.tuna.tsinghua.edu.cn/simple
!pip install -U 'spacy[cuda12x]' -i https://pypi.tuna.tsinghua.edu.cn/simple
!pip install ../dataset/en_core_web_trf-3.7.3-py3-none-any.whl
# !python -m spacy download en_core_web_sm

2.数据预处理

清洗和规范化数据

• 去除无关信息：删除HTML标签、特殊字符、非文本内容等，确保文本的纯净性，如：“Joyboy!（敲鼓声）（脚踏声） 乔伊波伊”、“Objection! （哇袄） 异议”中的声音词。
• 统一格式：转换所有文本为小写，确保一致性；标准化日期、数字等格式。
• 分句和分段：将长文本分割成句子或段落，便于处理和训练。

分词

• 分