从1.2万篇投稿到Outstanding Paper：一文读懂ICML 2025的研究全景

ICML 2025 于 2025 年 7 月 13 日至 19 日在加拿大温哥华会议中心（Vancouver Convention Center）以全程线下形式举办，吸引了来自全球的顶尖研究者提交论文 12107 篇，其中 3260 篇被录用（接受率 ≈ 26.9%）。大会议题广泛，覆盖机器学习理论与优化、深度学习架构、可信与安全、生成式 AI、多模态学习、强化学习、应用驱动研究等方向。主要活动包括 7 月 13 日的展览（Expo）与论坛，7 月 14 日的教程（Tutorials），7 月 15 – 17 日的主会场口头与海报报告，以及 7 月 18 – 19 日的专题研讨会（Workshops）和社交指导环节。

一、会议基本信息

• 名称：2025 年国际机器学习大会（42nd International Conference on Machine Learning）

• 时间：2025 年 7 月 13 日（星期日）– 7 月 19 日（星期六）

• 地点：加拿大温哥华会议中心（Vancouver Convention Center）

• 形式：全程线下（In‑person）

二、投稿与录用情况

ICML自 2017 年起，投稿数量从约 1,676 篇急剧攀升至 2025 年的 12,107 篇，增长超过一倍。 接收论文数量从当初约 434 篇增加到 2025 年的 约 3,260 篇。

ICML Submission Trends and Acceptance Categories Over Time

ICML接收率虽有所浮动，但整体维持在 21%–27% 之间。2025 年的接收率约为 26.9% ,接收论文类型中：

• **海报（Poster）**约 2,947 篇（占总投稿的 ~24.3%）

• Spotlight约 313 篇（2.6%）

• **Oral（大会演讲）**约 108 篇（0.89%）Paper CopilotPaper Copilot+1Paper Copilot+1。

ICML Decision‑Tier Frequency vs. Average Reviewer Score

ICML 2025的投稿评分数据显示：随着平均审稿分数的升高，接收率显著增加——低分投稿很少被接收，而在中等分数区间（约3.0–3.4）开始出现海报（Poster）接收，高分区间（约3.6以上）则主要集中于 Spotlight 与 Oral。累计接收率曲线在分数上升处呈陡增态势，直观反映分数与决策类型（Reject / Poster / Spotlight / Oral）之间的高度相关性papercopilot.com。

三、ICML 2025的研究热点

本届 ICML 2025 聚焦如何在大规模模型与资源受限场景下取得性能突破；平衡数据隐私、法律合规与 AI 安全；提升模型的鲁棒性与可解释性；构建更可靠的生成式 AI 评估与安全框架；推动自监督学习与纯数学机器学习理论的新进展；以及研究多智能体与人机协作的新范式。

模型效率与大规模扩展

• LoRA 收敛性理论：论文“LoRA Training Provably Converges to a Low-Rank Global Minimum Or It Fails Loudly”首次给出了低秩适配（LoRA）方法的严格数学收敛性分析，为高效微调提供了理论支撑 (ICML)。

LoRA Fine-Tuning Landscape: Convergence to Low-Rank Global Minima vs. Spurious High-Rank Solutions

本文的核心贡献是在非简化、非线性条件下理论证明LoRA训练的收敛性质，建立了“训练要么成功收敛到低秩全局最优，要么明显失败”的二元框架。 训练中使用的零初始化与权重衰减构成了关键的隐式偏置机制，促进了训练避开虚假局部极小点，保证实务中LoRA高效稳定。 该理论连接了现代非凸优化、低秩矩阵恢复理论与深度学习微调实务，对理解参数高效微调方法的本质提供了深刻洞见。

• 蒸馏规模规律：大会 Expo Talk “Distillation Scaling Laws” 系统探讨了知识蒸馏在不同模型规模下的性能变化规律，为大规模模型压缩与部署提供了实验与理论依据 (ICML)。

Extrapolations of the Distillation Scaling Law

本文研究语言模型知识蒸馏（Knowledge Distillation）过程中的性能表现随计算资源和模型规模的变化规律，即如何通过理论和大规模实验建立蒸馏性能的尺度定律（scaling laws），并据此优化计算资源分配，指导在给定计算预算下如何合理配置教师模型和学生模型规模以及训练数据量，从而最大化蒸馏后的学生模型性能。具体地，请参考如下公式：

蒸馏尺度定律公式：

Equation 8

• 容量差距（Capacity Gap）：当教师模型性能非常强时，学生模型反而难以充分利用教师知识，出现容量差距，导致学生性能下降。

• 计算预算约束： 计算预算用FLOPs表示，包括学生训练、教师预训练及教师推理的计算消耗。

Equation 9

• 优化目标： 在给定计算预算 CC 下，求解最优的学生参数、训练数据、教师参数和教师训练数据组合：

Equation 10

本文通过大规模实验和拟合分析提出了蒸馏性能的尺度定律，明确了教师性能、学生规模和训练数据量三者的关系。 为实际应用中如何选择蒸馏策略、设计训练方案、节省计算资源提供理论支持和实践指南。

可解释性与鲁棒性

• 认证鲁棒性的局限：论文“Certified Robustness Does Not (Yet) Imply Model Security”指出当前鲁棒性证明并不能确保模型在对抗环境中的安全性，呼吁重新审视安全标准 (ICML)。 具体地，如下公式：