qq_45069496的博客

论文地址：TransformerCPI: improving compound–protein interaction prediction by sequence-based deep learning with self-attention mechanism and label reversal experiments代码地址：https://github.com/lifanchen-simm/transformerCPI我们可以将 CPI 问题视为二分类任务，化合物可以被认为是1D序列或分子图（即

随着大量生物医学数据和知识的收集与利用以及在许多应用领域取得巨大成功的深度学习技术的进步，药物发现过程，特别是DTI预测得到了显著增强。最近，各种深度模型在DTI预测中显示出令人鼓舞的表现。它们通常将药物和蛋白质数据作为输入，将DTI视为一个分类问题，并通过深度学习模型对输入进行预测。尽管做出了这些努力，一下挑战仍然存在：为了解决这些挑战，我们提出了一种基于 transformer 的生物启发分子数据表征方法（MolTrans）来利用大量未标记数据进行 DTI 预测。做出了以下贡献：知识启发的表征和交互建模

识别药物-靶点相互作用（DTI）是药物再利用和药物发现的关键步骤。通过模型计算准确识别 DTI 可以显著缩短开发时间并降低成本。最近，提出许多基于序列的方法用于 DTI 预测，并通过引入注意机制来提高性能。这些方法仅对药物和蛋白质间的单个非共价间的分子相互作用进行建模，忽略了原子和氨基酸间复杂的相互作用。：在本文中，我们提出了一种基于卷积神经网络和注意机制的端到端生物启发模型 HyperAttentionDTI。我们使用深度CNN来学习药物和蛋白质的特征矩阵。

首先，使用指定的三重生成规则生成三重数据。对于使用规则（1）和规则（2）生成的三重数据，三重数据中的两个实例共享相同的上下文信息，这将误导分类器将它们分到同一类中，引入 Triplet Loss 策略的主要目的是提高区分这些 SODC 实例的能力。（3）对于每个无法从同一个句子中找到一个负/正实例的正/负实例，若该句子中只有两个实体，那么它将从其它句子中随机选择一个正实例和一个负实例，以形成三重数据。（1）对于每个正实例，从同一个句子中获取一个负实例，从随机选择的句子中获取一个正实例，以形成三重数据。

近年来，在BioRE任务的研究中，提出了基于深度学习的不同方法。目前，通过挖掘原始数据的特征构造辅助任务和伪标签的自监督学习方法已广泛应用于计算机视觉和自然语言处理领域。辅助任务可以指导原始模型捕获对主要任务更为关键的特殊特征。受上述启发，我们通过将自我监督融入到图形注意机制中，构建了一个新的 BioRE 模型，称为 SGAT（se

药物重定位旨在根据已知的药物-疾病关联性揭示上市药物的新用途。其背后的逻辑是：目前市场上的小分子药物具有多靶点特性，这意味着它们可以抑制或激活未知靶点，从而对未知疾病产生治疗效果。药物重定位通过计算模型和大量经验证的药物-疾病关联揭示药物和疾病的潜在治疗模式。基于这些模式，可以推断出目标药物的新的治疗用途。

药物重定位是一个长期存在的问题，人们提出了许多计算方法来预测药物再定位与疾病的相关性。这些研究大致可分为三类：机器学习、基于网络的方法和文献挖掘。HeTDR 的贡献如下：HeTDR 的工作流程如图所示，由三部分组成：将6677对报告的药物-疾病对分为三个子集，80%的药物-疾

本文是一篇利用深度学习方法和工具进行药物重定位主题的综述文章。

引入了结构预训练，系统地教会预训练语言模型在预训练阶段更好地理解文本结构之外的信息，这使得预训练语言模型在预训练期间学到的关于结构的信息可以直接转移到下游结构预测任务。，我们的预训练数据与任务无关。多任务训练已被证明能有效提高语言模型向下游任务转移的能力，主要区别在于，DeepStruct 使用任务无关语料库在结构预处理中跨多个结构预测数据集进行训练，其中我们将所有数据集转换为三种格式。我们没有对每个任务使用标准的预训练-微调范式，而是引入了结构预训练，目的是教会语言模型同时在广泛的任务范围内对应结构。

我们的模型取得了73.3%的F分数，超过了当前最先进的方法。然而，由于依赖关系树由单词节点组成，而 BERT 的 token 将拆分单词，它不能与依赖树和GCN有效结合，因此选择 ELMo 语言模型作为 GCN 的输入嵌入。我们将从CDR中提取的实体对与CTD进行比较，若它们没有出现在CTD中，我们将添加此实体对的三元组，并将关系标记为空。② 去除 GCN Layer，模型性能降低2.5%，模型到句子间级别的关系提取性能下降了4.3%，这说明依赖树和 GCN 模块可以获取对关系提取有用的长期依赖特征。