2025_NIPS_MolVision: Molecular Property Prediction with Vision Language Models

文章总结与翻译

一、主要内容

该研究聚焦计算化学中的分子性质预测任务，提出了一种名为MolVision的多模态方法，核心是融合视觉-语言模型（VLMs），结合分子结构图像与文本表示（如SMILES/SELFIES）来提升预测性能，解决传统基于纯文本表示方法的歧义性和结构信息不足等问题。

1. 核心背景与问题

• 分子性质预测在药物发现、材料科学中至关重要，但现有方法依赖SMILES等文本表示，存在非唯一性、句法不稳定性等缺陷，难以捕捉分子结构的空间和几何信息。
• 视觉-语言模型（VLMs）在计算机视觉和自然语言处理领域表现出色，但在化学等科学领域的应用尚未充分探索，而分子结构本质上具有视觉属性，为VLMs的应用提供了可能。

2. 研究设计

• 基准数据集（MolVision Benchmark）：构建了涵盖10个多样化数据集的基准，覆盖分类（如毒性、生物活性）、回归（如溶解度、量子化学性质）和描述任务，同时补充了分子骨架结构图像（通过RDKit生成），填补了现有数据集缺乏结构图像的空白。
• 模型与实验设置：评估了9种主流VLMs（包括GPT-4V、BLIP-2、Llava 1.5等开源和闭源模型），在零样本、少样本（含上下文学习ICL、思维链CoT）和微调（采用LoRA高效微调策略）三种设置下开展实验。
• 评估指标：分类任务用准确率和F1分数，回