Fairseq中的词汇约束解码技术详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00845/article/details/148360039

Fairseq中的词汇约束解码技术详解

fairseq facebookresearch/fairseq: fairseq 是Facebook AI研究团队开发的一个高性能序列到序列（Seq2Seq）学习框架，主要用于机器翻译、文本生成以及其他自然语言处理任务的研究与开发。项目地址: https://gitcode.com/gh_mirrors/fa/fairseq

什么是词汇约束解码

词汇约束解码是神经机器翻译(NMT)和序列生成任务中的一项重要技术，它允许用户在生成过程中强制模型输出包含特定的词汇或短语。这项技术在需要精确控制输出内容的场景中特别有用，例如：

专业术语的准确翻译
品牌名称的正确拼写
特定实体名称的保留
满足特定业务需求的输出要求

Fairseq实现了两种主要的约束解码方法，分别基于Matt Post和David Vilar 2018年的论文，以及J. Edward Hu等人2019年的改进工作。

快速上手

基本使用方法

在Fairseq中使用词汇约束解码非常简单，只需在fairseq-interactive命令中添加--constraints参数即可。约束条件以制表符分隔的形式附加在输入句子的后面。

echo -e "输入句子\t约束1\t约束2" \
| normalize.py | tok.py \
| fairseq-interactive /模型路径 \
  --path /模型路径/model.pt \
  --bpe fastbpe \
  --bpe-codes /模型路径/bpecodes \
  --constraints \
  -s 源语言 -t 目标语言 \
  --beam 10

实际案例

假设我们使用WMT19德语-英语模型翻译句子"Die maschinelle Übersetzung ist schwer zu kontrollieren."，并希望输出中包含"hard"和"to influence"这两个约束：

echo -e "Die maschinelle Übersetzung ist schwer zu kontrollieren.\thard\ttoinfluence" \
| normalize.py | tok.py \
| fairseq-interactive /path/to/model \
  --path /path/to/model/model1.pt \
  --bpe fastbpe \
  --bpe-codes /path/to/model/bpecodes \
  --constraints \
  -s de -t en \
  --beam 10

输出结果将显示模型生成的翻译确实包含了指定的约束词汇。

高级功能

有序与无序约束

Fairseq提供了两种约束处理模式：

有序约束(默认)：约束按照提供的顺序出现在输出中
- 使用方式：--constraints（默认即为有序）
- 约束之间可以插入任意数量（包括零个）的其他词汇
无序约束：约束可以以任意顺序出现在输出中
- 使用方式：--constraints unordered
- 对于无序约束，建议使用更大的beam size以获得更好的效果

实现原理

Fairseq的约束解码核心实现位于fairseq/search.py中，主要包含以下组件：

LexicallyConstrainedBeamSearch：负责管理约束条件下的beam search过程
两种约束状态跟踪类（位于fairseq/token_generation_contstraints.py）：
- OrderedConstraintState：处理有序约束
- UnorderedConstraintState：处理无序约束