2025_NIPS_Interactive Multi-fidelity Learning for Cost-effective Adaptation of Language Model wit...

文章核心总结与翻译

一、主要内容

本文针对领域特定语言模型（LM）微调中人工标注成本高、通用大语言模型（LLM）存在幻觉和部署成本高等问题，提出了交互式多保真度学习（IMFL）框架，旨在有限标注预算下实现低成本、高性能的领域特定小模型开发。

核心背景

• 通用LLM（如GPT-3/4）参数规模庞大、部署成本高，且在金融、医疗等专业领域因领域迁移问题表现不佳；
• 领域特定小模型虽部署灵活，但需高质量人工标注数据，而专业领域人工标注需专家知识，成本极高；
• 单纯依赖LLM自动标注易产生幻觉（错误信息），无法满足高风险领域需求。

核心思路

将领域微调转化为多保真度学习问题，平衡高保真度人工标注（少量、高质量）和低保真度LLM标注（大量、低成本），通过交互式策略最大化模型性能，核心包含：

1. 探索-利用查询策略（EEQ）：人工标注聚焦“利用”（选择高不确定性样本以提升信息量），LLM标注聚焦“探索”（选择多样化样本以覆盖数据分布）；
2. 两项创新设计：基于相似度的提示检索（从人工标注样本中选择上下文示例，提升LLM标注准确性）、可变批量大小（前期分配更多人工标注预算，助力知识蒸馏和LLM标注稳定性）；
3. 交互式微调流程：多轮迭代中