Controllable Text Generation with Language Constraints

本文是LLM系列文章，针对《Controllable Text Generation with Language Constraints》的翻译。

摘要

我们考虑在具有自然语言中指定的约束的语言模型中的文本生成任务。为此，我们首先创建了一个具有挑战性的基准COGNAC，它为模型提供了一个带有示例文本的主题，以及要避免的文本约束。与之前的工作不同，我们的基准测试包含来自Wordnet和Wikidata等数据库的知识密集型约束，这允许直接评估，同时在广泛的属性级别和狭窄的词汇级别控件之间取得平衡。我们发现，即使是像GPT-3这样的最先进的语言模型也经常在这项任务中失败，并提出了一种利用语言模型自身内部知识来指导生成的解决方案。我们的方法称为COGNACGEN，首先查询语言模型以生成指定主题或约束的指导术语，并使用该指导来修改模型的token生成概率。我们提出了三种形式的指导（二进制验证器、top-k token、文本示例），并使用前缀调整方法来提取指导，以解决不同的自然语言约束。通过广泛的实证评估，我们证明了COGNACGEN可以成功地推广到看不见的指令，并在生成符合约束的文本方面优于竞争基线。

1 引言

2 COGNAC基准

3 方法

4 实验设置

5 结果

6 相关工作

7 结论

我们引入了一个新的任务，用于在自然语言中指定约束的语言模型中进行可控生成。我们使用Wordnet和Wikidata的数据开发了COGNAC，这是一个包含基于知