
理解不等于操作
在科学领域,大模型展现出了惊人的 "理解力",如读懂文献、预测材料性质、解析晶体结构等。例如,Anthropic 推出的 AI 科研工作台 Claude Science,将科研拆成可逐步审计的流水线,实现特定环节效率提升 10 倍;Google DeepMind 的 GNoME 用图神经网络预测无机晶体稳定性,产出约 220 万个结构。
这让行业形成一种认知,认为模型能看懂材料知识,完成原子搭建等实操任务应顺理成章。但真实的材料计算研究并非简单作答,充斥着高度具象化的实操指令,对模型的三维空间操控能力提出了要求。
为量化该项能力,研究团队搭建了 AtomWorld 评测框架,依托材料领域通用晶体学信息实现自动化测评,只聚焦基础空间操作任务,即模型能否按指令精准调整原子排布。
图 1:AtomWorld 基准测试流程示意图。AtomWorld 生成器流程:1. 随机采样器调取预设原子结构;2. 随机初始化器配置原子编号、位置参数;3. 结构算子运算得到目标结构;4. 提示词模块生成对应自然语言描述。产出的结构 - 文本配对数据送入大模型智能体,通过 pymatgen 的 StructureMatcher 工具对比模型输出结构与标准目标结构,量化评估模型性能。
Scaling Law 遭遇能力边界
图 2:不同模型在 AtomWorld 上的总体表现。a、c 为成功率;b、d 为 mean max_dist 几何误差。左侧比较不同主流模型,右侧比较不同尺寸 Qwen 模型。模型规模扩大可提升部分规则清晰的任务,如原子替换、删除和移动;但在旋转、区域删除、扩超胞等需要三维空间理解和几何规划的操作上,提升不稳定。即使是 Claude 等强通用模型,在 "绕原子旋转" 等任务上表现也较差。
AtomWorld 的结果表明,Scaling Law 在原子操作任务上不能简单理解为 "模型越大,能力越强"。本次测试覆盖了 Claude Opus 4.6、GPT - 5.4、Gemini 3.1 Pro 等主流模型。图 2 显示,模型规模扩大能改善部分规则清晰的操作,但面对依赖三维空间关系的任务,提升不稳定。
以 Qwen 系列为例,从 4B 到 32B,原子更换、移除、移动等任务的成功率明显提高,但这种提升主要集中在规则明确的任务上,不能自动迁移到所有原子操作。"绕原子旋转" 等任务暴露出明显瓶颈,在不同尺寸 Qwen 模型和 Claude Opus 4.6 等强模型上成功率都很低,说明当前通用大模型普遍缺少稳定的三维空间行动能力。"删除下方原子""扩超胞" 等任务即使换更大模型,完成效果也不稳定,几何误差也不随模型变大必然下降。
因此,AtomWorld 指出了 Scaling Law 的适用边界:规模扩大能带来部分能力增益,但无法补齐三维物理空间操作的核心短板。对于材料建模,语言推理能力和原子级结构行动能力不能直接画等号,这也提示 AI for Science 需要关注 "Action Scaling"。
科研智能体的新赛道
AtomWorld 的核心价值在于,将 "材料智能体不会建模" 的模糊痛点,拆解成一系列可测量、可追踪的原子操作能力,厘清失效类型、程度与规模增益规律。这也点破了单纯扩参难以落地的症结:现有 Scaling Law 聚焦海量文本语料的语言与知识拟合,但材料原子建模所需的空间理解等能力,在公开数据中缺少高质量成对训练样本,很难仅靠语言规模扩张补齐。
针对大模型三维操作偏弱的问题,行业普遍通过对接 pymatgen 等专业工具库补短板。AtomWorld 对照测试显示,外挂工具仅能提升原子插入等强坐标计算类任务效果,面对复杂场景提升有限。本质上,工具只能输出精确坐标,无法替代模型做核心决策;若模型缺乏三维空间感知,工具只会让错误意图执行更精准,得到 "建模逻辑错误" 的结果。
AtomWorld 提醒科学智能体重思 "该缩放什么"。文本语料的 Language Scaling 是知识基础,但材料建模这类强操作任务,更需要面向行动能力的 Action Scaling,将 "行动 — 反馈 — 纠错" 全流程变成可规模化学习的对象。
结语
AtomWorld 不仅是一套标准化评测基准,更直观展现出当前 AI for Science 发展中的关键问题:大模型能解释材料结构性质,不意味着能可靠修改结构;能读懂元素周期表,不意味着能在三维空间稳定执行原子级操作。
这一问题不限于材料建模,真正的科学研究由一系列行动构成。AI 若想参与科研,不能只会 "解释知识",还必须学会 "执行动作"。因此,AtomWorld 提醒我们重新理解 Scaling Law 在科学场景中的适用范围:基于网络文本语料的 Language Scaling 是起点,未来 AI for Science 更需要面向行动能力的 Action Scaling,让模型在真实科研任务中学习,使科学智能体从 "会回答问题" 走向 "能完成任务"。



被折叠的 条评论
为什么被折叠?



