ItD: Large Language Models Can Teach Themselves Induction through Deduction

本文是LLM系列文章，针对《ItD: Large Language Models Can Teach Themselves Induction through Deduction》的翻译。

摘要

尽管大型语言模型（LLM）在广泛的自然语言处理任务中表现出了令人印象深刻的性能，但研究人员发现，它们进行归纳的能力仍然有限。最近的工作主要采用“后过程”范式来提高LLM在归纳上的性能（例如，假设搜索和精化方法），但它们的性能仍然受到LLM固有归纳能力的约束。在本文中，我们提出了一个新的框架，即通过演绎归纳法（ItD），使LLM能够通过演绎自学归纳法。ItD框架由两个主要组件组成：用于生成归纳数据的演绎数据生成模块和用于优化LLM的微调和解码的朴素贝叶斯归纳模块。我们的实证结果展示了ItD在两个归纳基准上的有效性，与以前的最先进技术相比，分别实现了36%和10%的相对性能改进。我们的消融研究验证了ItD的两个关键模块的有效性。我们还验证了ItD在不同LLM和演绎器中的有效性。本文的数据和代码在https://anonymous.4open.science/r/ItD-E844上可用。

1 引言

2