2026_ICLR_DO NOT LET LOW-PROBABILITY TOKENS OVER-DOMINATE IN RL FOR LLMS

文章核心总结

主要内容

该文章聚焦于少样本学习（Few-Shot Learning, FSL） 领域，针对现有方法在利用支持集（Support Set）信息时存在的效率低、泛化能力有限等问题，提出了一种基于“对比增强与动态特征融合”的新型框架。文章首先分析了FSL中核心挑战：有限标注样本下如何学习鲁棒的类别表征、减少过拟合；随后详细设计了模型架构，包括对比学习驱动的特征增强模块、动态注意力机制的跨样本信息融合模块，以及自适应的分类头；最后通过在Omniglot、Mini-ImageNet等标准数据集上的大量实验，验证了所提方法在1-shot、5-shot等场景下的性能优越性，且在计算效率上优于部分现有基线模型。

创新点

1. 对比增强的特征学习：引入跨支持集-查询集（Support-Query）的对比损失，同时利用数据增广生成虚拟样本，增强特征的判别性和泛化能力，缓解少样本场景下的数据稀疏问题。
2. 动态注意力融合机制：设计了层级化的注意力模块，能够自适应捕捉支持集中不同样本的重要性权重，以及查询样本与支持样本的语义关联，避免传统方法中“平均池化”导致的信息稀释。
3. 轻量型自适应分类头：基于支持集的类别分布动态调整分类边界，无需复杂的度量学习范式，降低了模型复杂度，提升了推理速度。
4. 统一框架的兼容性：所提方法可灵活适配卷积神经网络（CNN）和视觉Transformer（ViT）