2025_NIPS_FlowLLM: Flow Matching for Material Generation with Large Language Models as Base Distr...

一、文章主要内容总结

该研究针对晶体材料生成中离散原子类型与连续晶格/坐标参数难以同时建模的核心挑战，提出了混合生成模型FlowLLM。其核心思路是融合大语言模型（LLMs）处理离散数据的优势与黎曼流匹配（RFM）处理连续数据的能力，具体流程如下：

1. 预训练与微调：基于LLaMA-2模型，在晶体材料文本表示数据集上微调，使其学习亚稳态晶体的基础分布，能够通过自然语言提示生成初始材料的文本表征（包含原子类型、分数坐标、晶格参数）。
2. 表征转换与迭代优化：将LLM生成的文本表征转换为图结构，通过RFM模型迭代优化原子坐标和晶格参数（原子类型保持不变），利用黎曼流形上的测地线和向量场学习，使生成结果更接近稳定态。
3. 实验验证：在MP-20无机晶体数据集上验证，与CD-VAE、DiffCSP、FlowMM、CrystalLLM等现有方法相比，FlowLLM在稳定材料生成率（提升3倍以上）和稳定、独特、新颖（S.U.N.）材料生成率（提升约50%）上显著领先，且生成结构更接近松弛基态，大幅降低后续计算成本。

二、文章创新点

1. 混合建模框架：首次将LLMs与RFM结合，弥补了LLMs处理连续值精度不足、去噪模型难以建模离散原子类型的缺陷，实现离散-连续数据的协同建模。
2. 学习型基础分布：用LLM学习的晶体基础分布替代RFM常用的均匀分布，该分布更接近目标分布，