Rule or Story, Which is a Better Commonsense Expression for Talking with Large Language Models?

本文是LLM系列文章，针对《Rule or Story, Which is a Better Commonsense Expression for Talking with Large Language Models?》的翻译。

摘要

由于常识规则的报告偏见和基于规则的常识推理的暴露偏见，构建具有常识的机器一直是NLP中的一个长期挑战。相比之下，人类通过故事含蓄地传达和传递常识。本文研究了通过讲故事表达的大型语言模型（LLM）固有的常识能力。我们系统地调查和比较了LLM中检索和利用常识的故事和规则。在28个常识性QA数据集上的实验结果表明，故事作为从LLM中检索常识的表达式优于规则，表现出更高的生成置信度和常识准确性。此外，故事是回答日常事件问题的更有效的常识表达，而规则对科学问题更有效。这与文本语料库中常识性的报道偏见是一致的。我们进一步证明，通过迭代自监督微调，可以进一步提高常识故事的正确性和相关性。这些发现强调了使用适当的语言来表达、检索和利用LLM常识的重要性，突出了更好地利用其常识能力的有希望的方向。

1 引言

2 背景

3 LLM的常识检索作为故事和规则

4 利用故事和规则中的常识解决问题

5 迭代自监督微调