HyperAttentionDTI：基于注意机制的序列深度学习改进药物-蛋白质相互作用预测

题目： HyperAttentionDTI: improving drug–protein interaction prediction by sequence-based deep learning with attention mechanism

• 单位： 中南大学 计算机科学与工程学院
• paper链接： https://pubmed.ncbi.nlm.nih.gov/34664614/
• Code 链接：https://github.com/zhaoqichang/HpyerAttentionDTI
• 发表时间： 2021 年 10 月 19 日
• 发表期刊： 《Bioinformatics》

摘要
动机：
识别 药物-靶点相互作用(DTI)是药物再利用和药物发现的关键步骤。准确识别Silico中的DTI可以显著缩短开发时间，降低成本。近年来，许多基于序列的方法被提出用于DTI预测，并通过引入注意机制来提高性能。然而，这些方法只模拟药物和蛋白质之间的单一非共价分子间相互作用，而忽略了 原子和氨基酸之间的复杂相互作用。
结果： 本文提出了一种基于 卷积神经网络(CNN)和 注意机制的 端到端生物启发模型，称为 HyperAttentionDTI，用于 预测DTI。我们使用深度CNN来学习 药物和蛋白质的 特征矩阵。为了模拟原子和氨基酸之间复杂的非共价分子间相互作用，我们利用特征矩阵上的 注意力机制，并为每个原子或氨基酸分配一个注意力向量。我们在 三个基准数据集上对HpyerAttentionDTI进行了评估，结果表明，与最新的基准相比，我们的模型取得了 显著的性能改善。此外，对人类γ-氨基丁酸受体的案例研究证实，我们的模型可以作为预测DTI的有力工具。
可用性： 我们模型的代码可在https://github.com/zhaoqichang/HpyerAttentionDTI和https://zenodo.org/record/5039589.上获得。

1 Introduction

药物发现和药物再利用在当前生物医学领域受到高度重视。识别药物-靶相互作用(DTI)是药物发现和药物再利用的关键一步。然而，由于化学空间庞大，在湿实验室中识别DTI是极其昂贵和耗时的。为了有效地缩短时间和降低成本，已经开发了虚拟筛选(VS)来帮助在Silico中进行实验性药物发现研究。一些经典的VS方法，如基于结构的VS和基于配体的VS，已经被研究了几十年，在药物发现方面取得了巨大的成功。然而，这些VS方法的应用非常有限。例如，当蛋白质的3D结构未知时，不能执行基于结构的VS方法。由于准确重建蛋白质的结构仍然是一个挑战，构建无结构的方法正在获得吸引力。

近年来，深度学习在计算机视觉和自然语言处理等许多领域都取得了优于经典方法的性能。近年来，随着大量生物活性数据的产生，利用深度学习技术预测DTI成为研究热点。在深度学习应用于DTI预测的早期阶段，研究人员使用手工制作的描述符来表示药物和蛋白质，并设计完全连接的神经网络(FCNN)来制作预测。由于描述子是从特定角度设计的，并且在训练过程中是固定的，因此基于描述符的方法不能提取与任务相关的特征。为此，人们提出了许多端到端的模型。Lee等人。提出了一个名为DeepConv-DTI的模型来预测DTI。该模型利用多尺度一维CNN(1D-CNN)层来获取蛋白质特征，并以此作为输入得到药物的扩展连接指纹(ECFP)。为了捕捉序列中原子之间的任何关系，Shin等人提出了一个基于Transformer的DTI模型，它使用多层双向Transformer编码器从简化的分子输入线输入系统(SMILES)字符串中学习分子的高维结构。郑等人提出了一个框架，通过用2D距离图表示蛋白质和用微笑字符串表示药物来预测DTI。从另一个处理化合物或蛋白质的图形结构的角度，GraphCPI，Graph-CNN以及Lim等人。使用图形神经网络(GNN)来学习化合物和蛋白质的表示。

深度学习推动了药物靶向亲和力(DTA)预测的快速发展。Oztürk等人的研究成果提出了一个预测DTAS的模型，该模型通过CNN块处理微笑串和氨基酸序列。为了提取药物的拓扑结构信息，Nguyen et al提出了用图形表示药物的DTA预测的GraphDTA。GraphDTA使用各种GNN来捕捉药物的结构信息，使用CNN来学习蛋白质特征。此外，Abdel-Bassetet et al提出了一个异构图注意模型来学习药物的拓扑信息，并提出了Bi-ConvLSTM层来模拟微笑串中的空间序列信息。他们使用密集的CNN和SE-Block进行蛋白质序列测定。上述方法试图探索更强的模块来提取药物或蛋白质的特征，但忽略了一个重要的事实，即只有蛋白质的某些部分或药物的几个原子参与了分子间的相互作用，而不是整个结构。

为了模拟氨基酸与原子之间的分子间相互作用，在DTI和DTA预测中引入了注意机制。Tsubakiet等人提出了一个基于注意力的DTI预测模型。这个模型将药物编码到一个固定长度的载体上，并使用单边注意机制来计算蛋白质中的哪些子序列对分子更重要。该模型是由Chen等人提出的和Wang等人也利用了这种注意力机制。此外，Gao et al在DTI预测中应用了双边注意机制，使药物和蛋白质能够相互感知。双边注意机制不仅可以定位蛋白质上的结合位点，还可以探索药物上原子的重要性，并被应用于DTA预测。受到Transformer在捕捉两个序列之间的特征方面的巨大能力的启发，Chen等人将药物和蛋白质视为两类序列，提出了一种基于Transformer的模型，称为TransformerCPI，用于预测DTI。黄等人还提出了一种基于Transformer的模型MolTrans，该模型在特征提取过程中引入Transformer编码器，以捕捉药物或蛋白质中子结构之间的语义关系。这些方法将注意力机制引入到药物和蛋白质之间的单个非共价分子间相互作用模型中，取得了比没有注意力机制的模型更好的性能。但是，他们忽略了这样一个事实，即药物和蛋白质之间有几种非共价相互作用类型(例如，疏水相互作用、氢键和π-Stackings)。

受以往基于注意力的模型的启发，我们提出了一种受生物启发的端到端方法，称为HpyerAttentionDTI，用于预测DTI。该模型的输入是药物的微笑序列和蛋白质的氨基酸序列。我们使用堆叠的1D-CNN层来从输入中学习特征矩阵。与以往基于注意力的模型不同，我们的模型为每个氨基酸-原子对推断一个注意力向量。这些注意向量不仅呈现氨基酸和原子之间的相互作用，而且还控制通道上特征的表征。注意力阻断后，将修正后的药物-蛋白质特征向量输入全连接神经网络进行DTI预测。我们在四种不同的药物发现环境下，在三个广泛使用的数据集上将我们的模型与最先进的深度学习基线进行了比较。结果表明，HpyerAttentionDTI在所有设置下都具有与基线相当的性能。我们对人类γ-氨基丁酸受体进行了案例研究，以评估我们的模型预测现有DTI的能力。此外，我们进一步可视化了HpyerAttentionDTI学习到的注意力得分，结果表明，该模型的注意力块对于减少结合位点的搜索空间是有用的。

2 Materials and methods

2.1 Benchmark Datasets

我们从DrugBank数据库中提取药物和靶数据以建立实验数据集。本研究使用的数据于2020年1月3日发布(版本5.1.5)。我们手动丢弃这些药物，它们是无机化合物、非常小的分子化合物(例如铁(DB01592)和锌(DB01593))或RDKit python包无法识别的那些微笑串。最终共获得6655种药物、4294种蛋白质和17511种阳性DTI。按照惯例，我们从未标记的药物-蛋白质对中采样，生成负样本，并获得正负样本相等的平衡数据集。此外，我们还构建了两个不平衡的基准数据集，Davis和Kiba。Davis和Kiba记录了测量药物和蛋白质之间结合亲和力的湿实验室化验值。在早期工作之后，分别为Davis和Kiba数据集设置阈值5.0和12.1，以构建二进制分类数据集。由于Davis数据集中有一些氨基酸序列相同的蛋白质，我们删除了重复的药物-蛋白质对，以避免标签混淆。表1汇总了DrugBank数据集、Davis数据集和Kiba数据集。

2.2 Proposed model

HyperAttentionDTI由三部分组成：CNN模块、关注模块和输出模块。给出药物的微笑串和蛋白质的氨基酸序列，CNN从药物和蛋白质序列中提取特征矩阵。然后将特征矩阵送入注意力机制块，得到决策向量。最后，输出块根据判决向量进行预测。图1描述了所提议的HyperAttentionDTI的概述。

2.2.1 Embedding layer

蛋白质的氨基酸序列和药物的微笑序列是HyperAttentionDTI的输入。药物的微笑串由64个不同的字符组成，蛋白质中有20种不同的氨基酸。HyperAttentionDTI从两个嵌入层开始，将每个氨基酸和微笑字符转换为相应的嵌入向量。在嵌入层后，得到蛋白质和药物的嵌入矩阵 $P_e\in {\mathbb{R}}^{M\times ep}$ 和$D_e\in {\mathbb{R}}^{N\times ed}$ ，其中M和N分别为蛋白质和药物串的长度，ep和ed分别为蛋白质和药物串的嵌入量。

2.2.2 CNN block

在我们的模型中有两个独立的CNN模块，一个用于药物，另一个用于蛋白质。CNN块包含三个连续的1D-CNN层，可以有效地提取序列语义信息。1D-CNN能够从整个空间捕捉重要的局部模式。当卷积滤波器在蛋白质或微笑串上滑动时，捕捉药物的氨基酸或亚结构的不同组合，得到包含它们之间化学关系的潜在特征向量。给定嵌入矩阵Pe和De嵌入层，CNN块生成潜在特征矩阵$P_{cnn}\in {\mathbb{R}}^{M\times f}(蛋白质)和$ $D_{cnn}\in {\mathbb{R}}^{N\times f}$(药物)，其中f是最后一维CNN层的滤波器数。

2.2.3 Attention block

我们设计了一个特殊的注意模块，称为超级注意。与早期工作中的注意机制不同，HyperAttenment不仅在空间维度上模拟了药物子序列和蛋白质子序列之间的语义相互依赖，而且在通道维度上对药物子序列和蛋白质子序列之间的语义相互依赖进行了建模。给定来自CNN块的药物潜在特征矩阵Dcnn和蛋白质潜在特征矩阵 P c n n = { p 1 , p 2 , … , p M } P_{c n n}=\left\{p_{1}, p_{2}, \ldots, p_{M}\right\} Pcnn​={ p1​,p2​,…,pM​}和，我们生成了一个关注矩阵$A\in {\mathbb{R}}^{N\times M\times f}$，它包含了药物和蛋白质在空间和通道维度上的相互作用。

更准确地说，在给定$d_i和p_j$的情况下，我们首先通过多层感知器(MLP)将它们转换成注意向量$d_{ai}$和$p_{aj}$，以分离特征提取和注意建模。

d a i = F ( W d ⋅ d i + b ) p a j = F ( W p ⋅ p j + b ) \begin{aligned} &d a_{i}=F\left(W_{d} \cdot d_{i}+b\right) \\ &p a_{j}=F\left(W_{p} \cdot p_{j}+b\right) \end{aligned}