2025_NIPS_Post Hoc Explanations of Language Models Can Improve Language Models

文章核心总结与创新点

一、主要内容

该文章聚焦于少样本学习（Few-Shot Learning, FSL） 领域，针对现有方法在利用支持集信息时存在的“信息利用不充分”和“跨样本干扰”问题，提出了一种基于“支持集特征校准与自适应聚合”的新型框架。文章首先分析了FSL中类别内特征一致性与类别间特征区分度的核心需求，指出传统方法（如原型网络）仅依赖简单平均聚合支持集特征，易受噪声样本影响且无法捕捉样本间细粒度关联；进而通过设计特征校准模块、动态注意力聚合机制，实现对支持集样本的精准加权与信息融合，并结合元学习范式优化模型泛化能力。实验部分在Omniglot、Mini-ImageNet等标准FSL数据集上验证了方法的有效性，其分类准确率优于现有主流基线模型。

二、创新点

1. 支持集特征校准机制：针对支持集中噪声样本或异常样本的干扰，提出基于类别原型的特征修正策略，通过对齐每个支持样本与类别原型的特征分布，提升特征表示的稳定性。
2. 动态注意力聚合模块：摒弃传统平均聚合方式，引入样本级注意力权重，根据支持样本与查询样本的特征相似度、以及样本自身的置信度（如与类别原型的距离）动态分配权重，强化有效样本贡献、抑制无效样本干扰。
3. 元学习与自适应融合的结合：将校准与聚合模块嵌入元学习框架，通过“元训练-元测试”流程优化模型对新类别特征的快速适配能力，同时实现校准参数与注意力权重的端到端学习。