BERT-fused NMT 项目使用教程

BERT-fused NMT 项目使用教程

bert-nmt 项目地址: https://gitcode.com/gh_mirrors/be/bert-nmt

1. 项目目录结构及介绍

bert-nmt/
├── bert/
├── docs/
├── examples/
├── fairseq/
├── fairseq_cli/
├── scripts/
├── tests/
├── .gitignore
├── CODE_OF_CONDUCT.md
├── CONTRIBUTING.md
├── LICENSE
├── PATENTS
├── README.md
├── eval_lm.py
├── fairseq.gif
├── fairseq_logo.png
├── generate.py
├── generator.py
├── hubconf.py
├── interactive.py
├── interactive.sh
├── iwslt_interactive.sh
├── preprocess.py
├── score.py
├── setup.py
└── train.py

目录结构说明

• bert/: 包含与BERT模型相关的代码和配置文件。
• docs/: 包含项目的文档文件。
• examples/: 包含项目的示例代码和数据。
• fairseq/: 包含Fairseq的核心代码。
• fairseq_cli/: 包含Fairseq的命令行接口代码。
• scripts/: 包含项目的脚本文件，用于数据预处理等任务。
• tests/: 包含项目的测试代码。
• .gitignore: Git忽略文件配置。
• CODE_OF_CONDUCT.md: 项目的行为准则。
• CONTRIBUTING.md: 项目贡献指南。
• LICENSE: 项目的开源许可证。
• PATENTS: 项目的专利声明。
• README.md: 项目的介绍和使用说明。
• eval_lm.py: 用于评估语言模型的脚本。
• fairseq.gif: Fairseq的动画图标。
• fairseq_logo.png: Fairseq的图标。
• generate.py: 用于生成翻译结果的脚本。
• generator.py: 生成器脚本。
• hubconf.py: PyTorch Hub配置文件。
• interactive.py: 用于交互式翻译的脚本。
• interactive.sh: 交互式翻译的Shell脚本。
• iwslt_interactive.sh: IWSLT数据集的交互式翻译脚本。
• preprocess.py: 数据预处理脚本。
• score.py: 评分脚本。
• setup.py: 项目安装脚本。
• train.py: 训练脚本。

2. 项目启动文件介绍

train.py

train.py 是BERT-fused NMT项目的主要启动文件，用于训练神经机器翻译模型。该脚本支持多种参数配置，包括BERT模型的选择、数据路径、训练参数等。

使用示例：

python train.py --data-path /path/to/data --bert-model-name bert-base-uncased --save-dir /path/to/save

interactive.py

interactive.py 用于交互式翻译，用户可以输入句子并实时获取翻译结果。该脚本支持多种参数配置，包括源语言、目标语言、BERT模型等。

使用示例：

python interactive.py --src en --tgt de --bert-model-name bert-base-uncased

3. 项目的配置文件介绍

setup.py

setup.py 是项目的安装配置文件，用于定义项目的依赖和安装选项。通过运行该脚本，可以安装项目所需的所有依赖包。

使用示例：

pip install -e .

preprocess.py

preprocess.py 是数据预处理的配置文件，用于将原始数据转换为模型训练所需的格式。该脚本支持多种参数配置，包括源语言、目标语言、数据路径等。

使用示例：

python preprocess.py --source-lang en --target-lang de --trainpref /path/to/train --validpref /path/to/valid --testpref /path/to/test --destdir /path/to/dest --bert-model-name bert-base-uncased

通过以上配置文件和启动文件，用户可以方便地进行数据预处理、模型训练和交互式翻译。

bert-nmt 项目地址: https://gitcode.com/gh_mirrors/be/bert-nmt