ConstraintChecker: A Plugin for Large Language Models to Reason on Commonsense Knowledge Bases

本文是LLM系列文章，针对《ConstraintChecker: A Plugin for Large Language Models to Reason on Commonsense Knowledge Bases》的翻译。

摘要

基于常识知识库的推理（CSKB），即CSKB推理，已被探索为一种基于原始CSKB中的参考知识和外部先验知识来获取新的常识知识的方法。尽管大型语言模型（LLM）和提示工程技术在各种推理任务中取得了进步，但它们仍然难以处理CSKB推理。其中一个问题是，由于缺乏符号推理能力，他们很难仅从上下文示例中获得CSKB中的明确关系约束。为此，我们提出了ConstraintChecker，这是一个基于提示技术的插件，用于提供和检查显式约束。当考虑一个新的知识实例时，ConstraintChecker使用基于规则的模块来生成约束列表，然后使用零样本学习模块来检查该知识实例是否满足所有约束。然后将所获取的约束检查结果与主提示技术的输出进行聚合，以产生最终输出。在CSKB推理基准上的实验结果通过对所有提示方法的一致改进证明了我们的方法的有效性。代码和数据在https://github.com/HKUST-KnowComp/ConstraintChecker上可用。

1 引言

2 背景和相关工作

3 ConstraintChecker

4 实验

5 结论

在本文中，我们提出了ConstraintChecker，一个基于约束的插件，以帮助LLM和提示方法来处理CSKB推