Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models

本文是LLM系列文章，针对《Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models》的翻译。

摘要

通过对大型语言模型（LLM）的训练，在自然语言处理（NLP）任务中取得了令人印象深刻的结果。然而，这些模型偶尔会对某些提示产生侮辱、威胁和脏话等有毒内容，从而限制了它们的实用性。为了解决这个问题，已经使用了各种基于微调和基于解码的方法来减轻毒性。然而，这些方法通常需要额外的成本，例如高质量的训练数据或辅助模型。在本文中，我们提出了通过实例级前缀（FGDILP）进行细粒度解毒，以在不增加额外成本的情况下减轻有毒文本。具体而言，FGDILP将注意力空间中使用正前缀前置提示的上下文化表示与实例级别的多个负前缀前置提示进行对比。这允许构建细粒度的亚毒性载体，当提供原始提示时，通过融合它们来纠正正常的生成过程，从而实现协同解毒。我们验证了FGDILP能够在话语和上下文水平上控制文本生成的毒性。我们的方法在排毒方面超过了基于提示的基线，尽管对生成的流畅性和多样性略有损失。

1 引言

2 模型

3 实验

4 分析

5 相关工作

6 结论

在这项研究中，我们提出了通过实例级前缀FGDILP进行细粒度解毒，旨在在不需要额外数据或模型的情况下对语言