2025_NIPS_Reverse-Annealed Sequential Monte Carlo for Efficient Bayesian Optimal Experiment Design

文章核心总结与翻译

一、主要内容

本文聚焦贝叶斯最优实验设计（BOED）中的期望信息增益（EIG）估计问题，针对传统序列蒙特卡洛（SMC）方法计算EIG时存在的似然评估成本过高的痛点，提出了一种反向退火序列蒙特卡洛（RA-SMC）算法。

核心背景

• EIG是BOED中量化实验效用的关键指标，其计算依赖后验归一化常数（模型证据），但传统方法（如嵌套蒙特卡洛NMC、正向SMC）存在计算效率低、高维场景下性能不佳等问题。
• 正向SMC需大量粒子（通常数亿个）进行似然评估，导致对许多模型而言不可行。

关键发现

1. EIG估计的方差主要来自不同数据集间信息增益（IG）的差异，而非单个数据集IG估计的方差，因此可通过减少粒子数降低计算成本，同时仅小幅增加方差。
2. BOED中数据集是模拟生成的，可直接获取真实潜在参数，进而获得免费的后验样本，为反向退火提供了基础。

算法设计

• RA-SMC从单个后验样本出发，反向向先验分布进行退火，通过热力学积分和辛普森法则减少偏差，仅需单个粒子即可实现EIG估计。
• 算法流程：初始化后验样本→通过MCMC在各温度水平更新样本→利用辛普森法则近似热力学积分→输出IG估计值。

实验验证

在三个多峰后验模型（四维弹簧-质量模型、六维Johnson-Cook塑性变形