Transformer在化学信息学中的应用

化学实验通常成本高昂且耗时，机器学习（ML）算法可以帮助自动化昂贵的过程并加速科学发展。早期尝试将化学结构转换为适合传统方法 (如支持向量机或决策树) 的向量表示。最近，能够编码结构依赖性的高级学习架构 (如卷积神经网络CNN或图神经网络GNN) 已应用于化学数据的学习。

ML可以在化学数据中发现模式，用于诸如化学性质预测或新物质生成等多种下游任务。由于化学空间的复杂性和多样性，需要具有强大学习能力的复杂ML架构。基于Transformer架构的学习模型已经在多个ML领域引起革命，包括自然语言处理（NLP）和计算机视觉（CV）。

2024年5月30日，加州大学圣巴巴拉分校计算机科学系Ambuj Singh教授在美国化学会旗下计算化学权威期刊Journal of Chemical Information and Modeling发表题为Application of Transformers in Cheminformatics的综述论文。该文综述了Transformer在化学领域的应用，重点讨论了化学表示法，并强调了每种表示方法的优势、劣势以及未来的发展方向。

Transformer架构是深度学习的最新进展，其基本操作是简单的，通过引用和组合其他元素的嵌入来更新每个元素的嵌入。Transformer在文本和图像处理中的应用已经非常成熟，例如BERT在NLP领域的成功，以及ViT在CV领域的应用。

Transformer的主要组成部分

蛋白质序列的结构可以类比为一种复杂的语言，其结构折叠和生物功能由氨基酸的排列决定。由于蛋白质序列类似于文本数据，Transformer在处理这类数据时表现出色。