Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs

本文是LLM系列文章，针对《Controlled Text Generation for Large Language Model with Dynamic
Attribute Graphs》的翻译。

摘要

受控文本生成（CTG）旨在生成具有特定期望属性的文本。在这项研究中，我们介绍了一个用于大型语言模型（LLM）的可插拔CTG框架，称为基于动态属性图的受控文本生成（DATG）。该框架利用属性评分器来评估LLM生成的句子的属性，并构建动态属性图。DATG调节关键属性词和关键反属性词的出现，在不损害模型原始能力的情况下实现有效的属性控制。我们在四个数据集上进行了两项任务的实验：毒性缓解和情绪转换，使用五个LLM作为基础模型。我们的发现突出了控制准确性的显著提高，在四个数据集的最有利任务中，比基线方法实现了19.29%的峰值改进。此外，我们观察到困惑感显著减少，文本流畅性显著提高。

1 引言

2 方法

3 实验

4 相关工作

5 结论

在本文中，我们提出了基于动态属性图的受控文本生成（DATG）&#x