A Survey of Inductive Reasoning for Large Language Models

该文章是首篇关于大型语言模型（LLMs）归纳推理的全面综述，系统梳理了LLMs归纳推理的提升方法、评估基准与理论分析，为该领域未来研究提供了基础框架。

一、文章主要内容总结

1. 核心背景与概念

• 归纳推理定义：从特定观察中推导通用规则，具有“从特殊到一般”的思维过程和答案非唯一性，更贴合人类认知与知识泛化需求，区别于演绎推理（从一般到特殊，答案唯一）。
• 应用场景：覆盖NLP下游任务（句法语义解析、信息抽取、对话系统等）与现实场景（金融预测、自动驾驶、医疗诊断对话）。

2. LLMs归纳推理提升方法（三大类）

方法类别	核心思路	具体方向
训练后优化	在模型训练后阶段提升归纳能力，依赖算法与数据	1. 合成数据：生成模拟真实数据的训练集（如LingR、CodeSeq）； 2. IRL风格优化：通过逆强化学习（如RLHF、Prompt-OIRL）解决传统奖励模型的监督难题
测试时扩展	推理阶段基于假设优化，不训练模型	1. 假设选择：从候选假设中筛选覆盖观察的结果（如MoC、EPIC）； 2. 假设迭代：反复优化