OpenAI发布GeneBench-Pro，在129个问题/10个领域内评估AI科研能力

与大多数工程任务不同，科学研究具有更强的迭代性、开放性与不确定性，其核心挑战不在于分析流程的执行本身，而在于科学直觉或「研究品味」所驱动的一系列判断：例如数据能够支持什么问题、应纳入哪些数据、选择何种估计量或模型、诊断结果是否推翻初始假设，以及在何种证据强度下可以得出结论。

GeneBench 正是在这一背景下提出的，它试图评估的并不是单点算法能力，而是模型在真实科学分析流程中能否完成完整的「推理闭环」，包括数据理解、质量控制、方法选择、统计建模、诊断修正以及最终决策输出——这种能力在现代生命科学中尤为关键。

就在此基础上，OpenAI 研究团队于近日进一步提出了 GeneBench 的更新版本 GeneBench-Pro，覆盖产业与学术相关的更广泛领域，不再局限于基因组学，而扩展至分子与定量生物学、药物基因组学、癌症生物学、微生物基因组学、临床转化等需要多阶段统计推理的场景。相较 GeneBench，GeneBench-Pro 新增 29 个问题，删除 3 个问题，并对剩余 100 个重叠问题中的 54 个进行了显著重设计。

在 129 个问题中，有 82 个经过外部领域专家审查，他们的反馈促成了对提示与数据的修改，以及对目标不可识别问题的重构。在完整 129 题评测中，GPT-5.6 Sol 在最高推理强度下达到 28.7% 的通过率，而 GPT-5.6 Sol Pro 在单独报告的 GPT Pro 运行中达到 31.5%；GPT-5.5 为 12.0%，GPT-5.4 为 8.9%，表现最强的非 GPT 基线模型 Claude Opus 4.8 为 16.0%。

相关研究成果以「GeneBench-Pro: Evaluating Multistage Statistical Reasoning in Genomics, Quantitative Biology, and Translational Biomedicine」为题，已发布预印本于 bioRxiv。

研究亮点：

* GeneBench-Pro 在此前发布的 GeneBench 基础上进行了更新，引入了显著难度强化的原有问题版本以及新增领域的问题集

* GeneBench-Pro 不再局限于基因组学，而是扩展至分子与定量生物学、药物基因组学、癌症生物学、微生物基因组学、临床转化等需要多阶段统计推理的场景

* GeneBench-Pro 引入了外部科学审查步骤：在该流程中，每个问题的完整设计、相关文件与分析设定都会提交给外部领域专家，以验证其真实性与科学合理性

论文地址：
https://hyper.ai/papers/GeneBench-Pro
相关数据集在线使用：
https://hyper.ai/datasets/53157

GeneBench-Pro ：包含 129 个问题，覆盖 10 个主要领域

GeneBench-Pro 是一个包含 129 个问题的集合，覆盖 10 个主要领域与 21 个子领域，用于衡量智能体是否能够在最少引导下，从可能存在错误的数据集中识别并执行所需的定量分析，从而估计目标估计量（estimand），下图展示了当前评测套件的领域覆盖范围。

当前 GeneBench-Pro 套件的领域图谱

每个 GeneBench-Pro 问题都被封装为一个独立的科学分析任务。智能体被提供一个隔离的工作环境，其中包含最小可行提示（minimum viable prompt）、分阶段数据文件，以及标准的科学 Python 技术栈。提示仅给出科学问题/任务以及目标估计量，但不会明确规定应执行的分析流程。这些数据文件的设计尽可能模拟真实分析师从实验检测或临床系统中获得的原始数据，而非经过清洗的玩具数据集。

每个问题都包含一系列相互依赖的决策节点，因此在任一阶段做出的错误选择都会向后传播，导致后续分析出错，并最终无法得到正确的目标结果。

智能体在一个真实感较强的沙盒环境中运行，可以访问分阶段数据文件，以及包括 numpy、pandas、scipy、scikit-learn、statsmodels、lifelines、matplotlib 和 seaborn 在内的通用科学计算库，同时也可使用标准基因组生物信息学工具，如 PLINK 2.0、pysnptools、bed-reader、bedtools、pysam 等。

核心设计目标：智能体获得的是最小可行提示与明确的目标估计量

开放式科学分析之所以难以被精确基准化，是因为真实数据往往允许多种都具有合理性的分析选择。例如，质量控制（QC）阈值、模型参数设定以及报告规范在不同分析者之间可能存在差异，但这些差异并不意味着只有某一种方法是唯一正确的。如果一个基准的结果会因为某个智能体选择了一个合理但不同的 cutoff 或约定而变化，那么这种差异可能反映的只是基准设计本身的任意性，而不是科学推理能力的优劣。

为确保「失败」真正代表科学错误而非自然衰减，研究人员在 GeneBench-Pro 中采用构造性模拟问题：即完整的因果结构是已知的，并显式模拟数据生成过程。

研究人员通过「决策点数量」来量化级联结构——即在分析过程中存在的关键推断分叉点，在这些节点上，合理但错误的选择会导致后续结果发生质变。

在实际构建中，每个问题从一个真实世界分析模式与一个目标估计量出发。这些真实分析模式来自文献与领域专家经验，旨在反映常见且高影响力的科学问题与工作流，并刻意避免直接复现教科书或已发表论文中的标准案例，以防模型通过记忆解题。

随后通过模拟生成数据，使得正确答案可以从分阶段数据中恢复，接着构建最小可行提示，仅包含使正确答案可被识别所需的最少信息。

在完成初始问题草案后，会进行大规模验证。针对不同推理阶段中「看似合理但错误」的路径，会通过消融实验进行检查，并验证其结果是否与正确答案足够区分。

同时，还会进行独立科学审查，以评估方法合理性、目标可识别性以及科学有效性。

下表总结了由这些设计要求推导出的主要基准约束：

GeneBench-Pro 的主要设计约束

示例问题：DRX1 携带者筛查残余风险

下图展示了一个 GeneBench-Pro 问题，该问题模拟常染色体隐性遗传病的携带者筛查场景。在该合成筛查设定中，DRX1 是致病基因：只有当一对生物学父母双方均携带可报告的 DRX1 等位基因时，后代才存在生殖风险。

来自临床基因组学的 GeneBench-Pro 示例问题——携带者筛查中的残余风险

智能体被提供原始的携带者筛查数据，需要估计在「筛查结果为阴性」之后仍然残留的携带者风险，并将这一残余风险与潜在生殖伴侣的人群携带者频率进行结合。

该问题的难点在于，答案无法简单地由原始携带率直接估计得到，正确分析必须依次完成多步推断：

· 首先识别可报告的 DRX1 携带者类别，并区分拷贝数变异伪影；

· 其次处理相位化的创始人标记，并判断其是否应视为单一单倍型；

· 然后基于不同协变量估计检测的灵敏度与假阳性率；

· 接着根据各类别未检出携带概率，计算在筛查阴性条件下的残余携带风险；

· 最后还需将伴侣携带者频率标准化到完整伴侣名单，而非仅限于已检测子集。

该示例体现了 GeneBench-Pro 的核心设计目标：智能体获得的是最小可行提示与明确的目标估计量，但成功最终取决于其是否能够从数据中恢复完整的多阶段定量分析路径，而不是仅仅执行一个预设流程。

成果展示：能力提升显著，但「推理闭环」仍未完全建立

研究人员在完整的 129 个问题套件上评估了 GeneBench-Pro，覆盖 60 种模型配置，包括 GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Luna/Terra/Sol 及其对应的 GPT Pro 变体，以及来自 Claude、Gemini、Grok、GLM、Kimi、DeepSeek、MiMo、腾讯、MiniMax 和 Qwen 等的非 GPT 基线模型，下图总结了按问题逐项计算的未加权通过率：

各评估模型的性能表现

总体来看，模型整体通过率仍然较低：

· 在各 GPT 主线模型的最高报告推理强度下，未加权平均通过率从 GPT-5.2（xhigh）的 4.9% 提升至 GPT-5.4（xhigh）的 8.9%、GPT-5.5（xhigh）的 12.0%、GPT-5.6 Luna（max）的 16.5%、GPT-5.6 Terra（max）的 23.3%，以及 GPT-5.6 Sol（max）的 28.7%；

· 单独报告的 GPT Pro 运行结果分别为：GPT-5.2 Pro 8.5%、GPT-5.4 Pro 16.3%、GPT-5.5 Pro 20.5%、GPT-5.6 Luna Pro 23.6%、GPT-5.6 Terra Pro 28.5%、GPT-5.6 Sol Pro 31.5%；

· 非 GPT 模型的结果范围约为 0.6% 至 16.0%，其中 Claude Opus 4.8 是最强的非 GPT 基线模型；

· 在 GPT 系列内部，提高推理强度带来显著影响：GPT-5.6 Sol 从 none 的 3.7% 提升到 low 的 14.4%、medium 的 22.5%、high 的 24.4%、xhigh 的 26.8%，以及 max 的 28.7%。

同时，仍然存在显著的未解问题——在 GPT 主线最佳模型中，「0% 通过率问题」的比例从 GPT-5.2 的 77.5% 下降至 GPT-5.4 的 67.4%、GPT-5.5 的 64.3% 以及 GPT-5.6 Sol 的 45.7%；而「至少 50% 通过率问题」的比例则从 1.6% 上升至 4.7%、8.5% 和 30.2%。因此，即使在最强主线模型中，基准仍主要由高难度问题构成，但更强模型能够将更多问题从「完全失败」状态推向部分成功或稳定成功。

结语

GeneBench-Pro的核心贡献并不仅在于构建一个新的生物学基准，而在于它试图重新定义「科学智能体能力」的评价方式。从实验结果来看，当前最先进模型已经具备一定程度的「局部科学能力」，例如识别数据异常、理解统计信号或执行标准分析步骤。然而，这种能力尚未稳定扩展为端到端的科学分析能力，模型在「识别问题」与「采取行动」之间仍然存在明显断裂。

从应用视角来看，这一能力的突破具有显著潜在价值。在现代生命科学中，从基因数据到靶点筛选、从统计信号到转化决策的过程高度依赖专家团队协作，且成本高昂。论文指出，一个 GeneBench-Pro 问题在无人工辅助情况下通常需要 10 到 40 小时完成，这意味着即便部分自动化，也可能在工业研究中产生显著经济价值。

然而，研究人员同时强调，目前模型仍无法可靠替代这一流程，原因在于其无法稳定完成完整推理链条。未来提升方向可能包括更强的规划能力、自我修正机制以及不确定性建模能力。

参考文献：

https://www.biorxiv.org/content/10.64898/2026.06.29.735386v2