论文浅尝 | BIOBRIDGE：通过知识图谱桥接生物医学基础模型（ICLR2024）

最新推荐文章于 2025-11-24 11:43:51 发布

原创最新推荐文章于 2025-11-24 11:43:51 发布 · 1.2k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#知识图谱 #人工智能 #开源 #学习 #prompt #生成对抗网络

论文链接：https://arxiv.org/pdf/2310.03320

1. 动机

在生物医学领域，基础模型 (FM) 可以从大量未标记的科学文献、蛋白序列、SMILES等数据中学习，在各种单模态任务中展现出了卓越的性能。在训练中引入多模态数据，联合优化单模态编码器能够进一步提高FM的性能。然而，当扩展到三种以上模态时，这种方法会遇到计算成本、数据稀缺等问题。

生物医学知识图谱包含由头、尾生物医学实体以及关系表示的三元组结构信息，涵盖了蛋白质、分子和疾病等丰富的模式，使得全面的生物医学分析和机器学习成为可能。因此作者提出了BioBRIDGE方法，保持所有单模态模型固定，从生物医学知识图谱中学习跨模态转换。

2. 贡献

本文的主要贡献有：

（1）创建一种通用桥接机制BioBRIDGE，能够有效连接任何模态对的表示，桥梁模块由知识图谱中丰富的结构信息进行监督，而单模态FM的参数保持冻结以提高计算效率。

（2）桥接单模态FM的方法在多种跨模态预测任务中具有竞争力，可以外推到训练知识图谱中不存在的节点，其性能与监督基线相当，并泛化到训练图谱中不存在的关系，通过进一步训练来提高性能。

3. 方法

与对比学习、中心模态对齐等方法不同，BioBRIDGE 保持所有单模态基础模型的参数固定，学习如何在单模态FM中进行转换的桥接模块，方法对比如图1所示：

图1 BioBRIDGE与其他方法对比

该方法的具体流程如下：

（1）在训练阶段，从PrimeKG中采样三元组，保持单模态FM参数冻结，获得头尾实体的原始嵌入。训练一个桥接模块，将头节点嵌入转换到尾节点空间，使用InfoNCE损失进行对比学习，损失函数如下：

其中是经桥接模块转换后的嵌入，是目标尾实体的原始嵌入，M是采样的负样本数量，τ是温度参数。

（2）在预测阶段，BioBRIDGE并不使用KG进行推理，而是通过单模态模型和桥接模块组合获得实体在目标空间的嵌入，通过矩阵内积等相似性计算方法进行搜索，实现跨模态预测。

（3）在生成任务中，桥接模块支持检索增强生成的多模态提示，检索识别输入分子的潜在蛋白质靶标、分子的疾病适应症、蛋白质的相关疾病、基因本体中的相关术语等，丰富语言模型或其他下游生成模型的输入。

图2 BioBRIDGE整体流程图

4. 实验

在跨模态预测任务中，研究者设计了域内实体+域内关系、域内实体+域外关系、域外实体+域内关系三组实验来测试 BioBRIDGE 的预测能力。

域内实体+域内关系实验中，输入实体的类型和输入关系都存在于训练知识图谱中。以图3跨模态检索为例，在七个任务中，BioBRIDGE超过了所有的KGE方法，这是因为专门的 KGE 算法完全基于知识图谱从头开始学习节点和关系嵌入，而BioBRIDGE建立在已经拥有丰富先验知识的预训练基础模型之上，能够以更加数据高效的方式桥接模式。此外，BioBRIDGE 在 KG 中三元组较少的任务，如Protein→MF上比基线获得了更高的提升。

图3 跨模态检索任务

在域内实体+域外关系实验中，作者选择了蛋白质-蛋白质相互作用（PPI）预测任务，该任务旨在对一组蛋白质的7种相互作用类型进行分类，其中除binding外的6种类型都不包含在训练图谱中。如图4所示，BioBRIDGE在大多数情况下都显示出相对于基线的一致改进，并且在 SHS27K 等样本较少的数据集上表现出更大的优势。

图4 PPI任务

在域外实体+域内关系实验中，作者设计了跨物种蛋白质表型匹配任务来测试 BioBRIDGE的跨模态转换能力。从小鼠基因组信息学 (MGI) 资源构建小鼠蛋白质和相关小鼠表型的数据集，充当域外实体；将编码的小鼠蛋白质嵌入转换为具有“关联”关系的“疾病”空间；使用Recall@K、Precision@K、nDCG@K一套排名指标来评估匹配性能。由图5所示，BioBRIDGE 显示出比微调模型的性能提升，无需进一步训练即可转移到新领域。在小鼠蛋白质与人类表型匹配任务中，BioBRIDGE 利用了基础 FM 关于蛋白质和人类疾病的先验知识，远超微调模型表现，展示了该方法在新型生物信息分析的潜力。

图5 跨物种蛋白质表型匹配任务

在多模态生成任务中，BioBRIDGE可以实现跨模态问答增强和跨模态生成增强。以问答为例，输入一个分子/蛋白质和一个问题，BioBRIDGE可以充当跨模式检索器，检索识别输入分子的潜在蛋白质靶标、分子的疾病适应症、蛋白质的相关疾病、基因本体中的相关术语等，作为上下文丰富并提示LLM回答。

图6 BioBRIDGE多模态问答增强

5. 总结

本文提出了利用知识图谱桥接单模态生物医学基础模型实现多模态任务的的BioBRIDGE方法。由生物医学知识图谱的关系信息进行监督，BioBRIDGE 可以有效地将嵌入转换为目标模态，并且只需要训练桥接模块，具有很高的参数效率。BioBRIDGE 可以通过推断域内/域外实体和关系来处理各种跨模式预测任务，还支持具有多模式输入的生成任务，所产生的性能与有监督的专家模型相当，展现了知识图谱和基础模型相结合的范式在跨模态任务中的巨大潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述