An Iteratively Refining Method for Eliciting Knowledge from Large Language Models

本文是LLM系列文章，针对《Chain-of-Specificity: An Iteratively Refining Method for Eliciting
Knowledge from Large Language Models》的翻译。

摘要

大型语言模型（LLM）表现出非凡的生成能力，能够生成有价值的信息。尽管取得了这些进步，但先前的研究发现，LLM有时难以遵守特定的约束条件（例如，在特定的地点或特定的时间），有时甚至忽视了这些约束条件，这导致了过于笼统或不完全令人满意的反应。现有的方法试图通过分解或重写输入指令来解决这个问题，但它们在充分强调特定约束和解锁底层知识（例如，在软件开发的背景下编程）方面做得不够。作为回应，本文提出了一种简单而有效的方法——特异性链（CoS）。具体来说，CoS迭代地强调输入指令中的特定约束，解锁LLM中的知识，并细化响应。在公开的和自建的复杂数据集上进行的实验表明，CoS在增强生成内容方面优于现有方法，尤其是在特异性方面。此外，随着特定约束数量的增加，其他基线也会动摇，而CoS仍然表现良好。此外，我们还表明，提取由CoS生成的响应有效地增强了较小模型遵循约束指令的能力。本文的资源将被公布以供进一步研究。

1 引言

2 相关工作

3 方法

4 具有更具体约束的ConstraintSPEC

5 蒸馏到更小的模型

6 实验

7 结论

为了提高LLM遵循输入指令中特定约束的能力，我们提出了特异性链（CoS），通过迭代强调特定约束，获取LLM中的知识，并细化响应。为了更好地模拟复杂的约束