2025_NIPS_Meta-in-context learning in large language models

一、文章主要内容总结

该研究提出“元上下文学习（meta-in-context learning）”这一概念，核心是验证大型语言模型（LLMs）的上下文学习能力可通过上下文学习本身递归提升，无需参数微调。

1. 研究背景：上下文学习（少样本提示）是LLMs核心优势之一，使其无需任务特定微调就能通过少量演示提升任务表现，但此前未探索该能力能否进一步自我优化。
2. 实验设计：
   • 模型：主要采用GPT-3（TEXT-DAVINCI-002），额外测试了多个开源模型（如Falcon-40b、Llama-2、mpt-30b等）。
   • 任务场景：涵盖两类人工任务（一维回归任务、双臂老虎机任务）和两类真实场景任务（真实世界回归基准数据集、MMLU自然语言处理基准）。
   • 核心逻辑：连续向模型呈现多个相关任务，观察其跨任务的上下文学习能力提升。
3. 关键发现：
   • 元上下文学习能自适应调整模型的先验知识，使其更贴合任务环境的真实统计规律（如修正GPT-3对正相关函数的初始偏差）。
   • 该机制可重塑模型的学习策略（如在双臂老虎机任务中，模型逐渐变得更“贪心”以最大化奖励）。
   • 在真实场景中表现优异：真实世界回归任务中性能媲美贝叶斯线性回归，MMLU基准的零样本场景下准确率提升22.4%。
   • 模型依赖性：仅较大规模（如GPT-3 TEXT-DAVINCI-002）或长上下文窗口模型（如mpt-30b）