2025_NIPS_Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Inten...

文章核心总结与翻译

一、主要内容

文章聚焦大型语言模型（LLMs）在知识密集型推理任务中的优势与部署难题，提出了知识增强推理蒸馏（KARD）方法。该方法通过外部知识库补充小模型知识储备，结合神经重排器优化知识检索，将LLMs的推理能力和领域知识迁移到小模型中。在MedQA-USMLE、StrategyQA、OpenbookQA三个数据集上的实验表明，KARD显著提升了小模型（如250M参数的T5）的性能，甚至超越了参数规模大12倍的模型。

二、创新点

1. 提出KARD框架，将外部知识库作为非参数记忆，降低小模型的记忆需求，同时蒸馏LLMs的推理能力。
2. 设计神经重排器，解决推理阶段仅通过问题检索知识的相关性不足问题，优先筛选对推理生成有用的文档。
3. 理论分析证明，外部知识增强可将小模型的记忆需求从Ω(nd)比特降至O(n log₂(N+R))比特，为方法有效性提供理论支撑。
4. 实验验证了方法在医疗、多步事实推理、常识推理等多个知识密集型任务中的通用性和高效性。

---

三、核心部分翻译（Markdown格式）

Abstract（摘要）

大型语言模型（LLMs）在需要复合知识理解的知识密集型推理任务中展现出良好性能。然而，由于其高昂的计算需求和数据隐私方面的顾虑，LLMs在实际应用中的部署面临挑战。以往研究通过标注数据微调或蒸馏LLMs，致力于构建特定任务的小型语言模型（LMs