- 博客(44)
- 收藏
- 关注
RSS订阅原创 SE (3) -Transformers：三维旋转 - 平移等变注意力网络
E (3) 变换器，这是一种用于三维点云和图的自注意力模块变体，在连续三维旋转平移下具有等变性。注意力机制的计算量会随着点云规模的增大呈二次方增长，因此引入邻域的概念是很有必要的：每个点不再关注所有其他点，而只关注其最近的邻点。注意力机制此前已在图的领域中以内部注意力、自注意力、顶点注意力或图注意力等名称被引入 [17, 31, 32, 12, 26]。等变性意味着当输入数据发生旋转或平移时，模型的输出也会以相应的、可预测的方式进行变换，从而保证模型性能的稳定性和可预测性。
2025-04-07 14:15:42
407
原创 DiffMC-Gen：用于多条件分子生成的双去噪扩散模型
精确且高效地设计具有多样物理化学性质的潜在药物分子一直是重大挑战。近年来，基于深度学习的从头分子生成算法带来新方向，其中去噪扩散模型潜力显著。但以往方法常无法同时优化候选化合物的多种性质，可能源于直接使用非几何图神经网络，使其无法准确捕捉分子拓扑和几何信息。本文提出 DiffMC-Gen，整合离散和连续去噪扩散模型应对挑战。将动态可组合多头注意力方法纳入离散图网络架构，减少参数、提高运算速度。引入新型三维同构编码局部层次算法捕捉几何特征。
2025-04-07 12:59:50
390
原创 GeoDiff：分子构象生成的几何扩散模型
GEODIFF 受非平衡热力学扩散过程启发，将原子看作粒子，把从噪声分布恢复到稳定构象的过程视为马尔可夫链。通过理论证明，基于等变马尔可夫核的马尔可夫链能诱导出旋转平移不变的分布。具体包括构建旋转平移不变的初始密度，设计等变马尔可夫核，并提出对齐法和链式法则法改进训练目标，以实现训练过程的等变性。分子构象预测在化学和药物研发中至关重要，传统方法计算成本高，机器学习方法尤其是深度生成模型成为研究热点，但现有方法存在局限性，如间接建模中间几何变量导致训练或推理存在问题。
2025-03-31 14:12:22
185
原创 Uni-Mol：一个通用的三维分子表征学习框架
Uni-Mol 主干是基于 Transformer 的模型，输入为原子类型和原子坐标，模型中保留原子和成对两种表征。原子表征由嵌入层根据原子类型初始化，成对表征由基于原子坐标计算的不变空间位置编码初始化，且基于原子对欧氏距离，成对表征在全局旋转和平移下不变。两种表征在自注意力模块中交互。
2025-03-24 22:20:38
299
原创 MDFCL：用于分子性质预测的基于多模态数据融合的图对比学习框架
对于一个分子 G，我们反复删除所有度为 1 的节点。当每个节点的度都超过 1 时，就得到了分子主链图Gbb。
2025-03-05 10:54:07
535
原创 用于将结构层次整合到依赖上下文的分子表征中的多通道学习 论文解读
为此，本文引入提示引导的多通道学习框架。本文旨在改进分子表征学习，提出现有方法两大缺陷：一是对比学习中，传统正负样本定义不适用于分子图，扰动生成正样本可能破坏化学有效性，且对负样本的处理忽略了分子结构关系；然而，近期研究指出，现有 SSL 方法存在不足，如难以学习到有效分子表征，部分预训练策略效果不佳甚至引发负迁移，在活性悬崖下预测结合效力表现欠佳。结果表明，此方法超越多种基线方法，在处理活性悬崖问题上表现出色，能更好地保留预训练知识，案例研究显示其有潜力识别导致活性悬崖的关键模式。
2025-02-25 16:40:16
182
原创 论文DiffBP: generative diffusion of 3D molecules for target protein binding
在小分子方面，3DSBDD 和 Pocket2Mol 生成的小分子比例较高，而 DiffBP 生成的小分子比例最低，但 DiffBP 的小分子在配体效率方面表现较好。在中分子方面，DiffBP 生成的中分子比例最高，且在 MPBG 和 LE 指标上表现出色。在大分子方面，GraphBP 和 Pocket2Mol 生成的大分子比例较高，但 DiffBP 的大分子在 MPBG 和 LE 指标上相对更优。
2024-12-24 16:39:41
824
原创 UNI-MOL：一种通用的三维分子表示学习框架
输入和表示有两个输入：原子类型和原子坐标。模型中维护了两种表示：原子表示和成对表示。原子表示通过嵌入层（Embedding layer）由原子类型初始化；成对表示由根据原子坐标计算出的不变空间位置编码初始化，该编码基于原子间的成对欧几里得距离，对全局旋转和平移是不变的，两种表示在自注意力模块中相互交互。对 3D 位置进行编码Transformer 具有置换不变性，没有位置编码无法区分输入位置。3D 空间位置是连续值，与 NLP/CV 中的离散位置不同，且位置编码过程需在全局旋转和平移下保持不变。
2024-12-23 17:12:01
1023
原创 MvMRL：一种用于分子性质预测的多视图分子表示学习方法
有效的分子表示学习对于人工智能驱动的药物设计至关重要，因为它会影响分子性质预测以及其他与分子建模相关任务的准确性和效率。然而，以往的分子表示学习研究往往存在诸多局限，例如过度依赖单一分子表示，无法充分捕获分子结构中的局部和全局信息，以及不能有效地整合来自不同分子表示的多尺度特征。这些局限限制了对分子结构和性质的完整、准确表示，最终影响了分子性质预测的准确性。a部分。
2024-12-21 13:21:39
861
原创 MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction
一项旨在利用大规模语言模型（LLM）进行分子属性预测的研究。其核心目标是扩展语言模型的应用，特别是利用零-shot（无示例）和少-shot（少量示例）的In-context Learning（ICL）方法，使其能够处理分子预测任务。该研究提出了一个称为的新模型，旨在通过扩展LLaMA（一个开源的大型语言模型）来增强其在分子属性预测方面的表现。
2024-12-05 18:33:17
1152
原创 论文《使用自监督图像表示学习框架对分子属性和药物靶点的准确预测》
题目：Accurate prediction of molecular properties and drug targets using a self-supervised image representation learning framework发表期刊:nature machine intelligence研究背景（Molecular Fingerprint）是一种通过数学方式表示分子结构的技术，用于描述分子的特征。
2024-11-29 14:54:46
526
原创 论文《通过非重叠掩蔽的互补多模态分子自监督学习用于属性预测》-
发表期刊Briefings in Bioinformatics, 2024, 25(4), bbae256文章提出了一个名为的多模态预训练框架，旨在利用两种互补的模态——SMILES序列和分子图——来学习分子的丰富特征。MoleSG框架通过结合SMILES和分子图两种模态，利用统一的特征处理网络来融合这两种模态的特征，从而提取更加全面的分子信息。其核心思想是通过两种模态之间的交互来提升模型性能。为了促进SMILES和图形模态之间的信息交换，文章提出了。
2024-11-28 19:13:15
998
原创 论文Multi-Modal Representation Learning for Molecular Property Prediction: Sequence, Graph, Geometry
论文提出了一种名为SGGRL的多模态分子表示学习模型，通过结合序列、图结构和几何信息来提升分子性质预测的准确性。SGGRL设计了一个融合层来综合不同模态的表示，并通过训练最大化同一分子的表示相似度，同时最小化不同分子的相似度。实验结果表明，SGGRL在多个数据集上优于现有的基线方法，能够全面捕捉分子信息，展示了其在分子性质预测中的潜力。模态方法不足以全面描述分子的性质，因为分子的性质受到多种因素的影响，如手性、功能团、骨架等。因此，需采用多模态分子表示学习。
2024-11-27 16:31:53
1009
3
原创 论文：Pretraining graph transformer for molecular representation with fusion of multimodal information
这篇论文提出了一种名为MolGT的新型图Transformer预训练框架，用于分子表示学习（MRL）。MolGT融合了节点视角和图视角，结合了分子的二维拓扑和三维几何模态，采用了一种定制的图Transformer，能够高效地共享不同模态的知识。MolGT通过对比学习在二维拓扑和三维几何模态之间建立联系，从而生成隐式的三维几何信息。实验表明，MolGT能够准确表示分子，并在无需计算昂贵的分子构象的情况下，仅使用二维信息获得几乎相同的结果，展示了其在分子学习任务中的有效性。
2024-11-26 20:11:41
1007
原创 nature communications论文 解读
题目《Transfer learning with graph neural networks for improved molecular property prediction in the multi-fidelity setting》这篇文章主要讨论了如何在（multi-fidelity setting）下，利用技术，改进分子性质预测的效果。研究背景：在分子性质预测中，不同来源的数据通常具有不同的。
2024-11-24 16:55:37
1295
原创 PG-DERN 解读：少样本学习、 双视角编码器、 关系图学习网络
具体而言，模块通过计算属性之间的相似性，将从其他具有相似属性的分子中转移的信息增强到新的分子特征中，从而改善模型在新属性上的预测性能。该模块用于根据增强后的图嵌入 z^τ,i\hat{z}_{\tau,i}z^τ,i 进行预测，主要由三个主要组成部分：节点视图嵌入、整体图嵌入和子图视图嵌入，每个嵌入都通过一个多层感知机（MLP）进行处理，并输出对应的预测结果。在关系图上，分子的特征信息可以传播，允许分子从其他分子中学习到更多的监督信息，从而增强分子特征的鲁棒性。（Node-view Encoder）和。
2024-11-17 19:39:08
582
原创 DGCL: dual-graph neural networks contrastive learning for molecular property prediction 解读
GIN 是一种图神经网络模型，专门设计用于捕捉图的结构信息并解决图分类问题。它在理论上被证明具备强大的表达能力，等价于图同构测试中的 Weisfeiler-Lehman (WL) 图同构测试算法。GAT 的核心思想是通过注意力机制动态计算不同节点之间的相对重要性，从而为每个节点分配不同的权重。它通过一个递归的聚合过程，将每个节点的信息与其邻居的信息结合起来，从而捕获整个图的结构信息。每个头能够学习到不同的邻居信息权重分布，从而提升模型的表达能力。过多的注意力头可能会引入过多的非线性，使得模型更容易过拟合。
2024-11-17 19:11:15
966
原创 等变transformer
等变Transformer（Equivariant Transformer）是一种特定设计的Transformer架构，能够在处理分子结构和3D几何信息时保持等变性（Equivariance）。等变性是指模型在输入进行某种变换（如旋转或平移）时，输出会相应地改变，但输出本身的特征不变。对于分子建模和分子模拟任务，这种特性至关重要，因为分子的几何结构会影响其性质。等变Transformer核心概念。
2024-11-10 19:15:21
380
原创 Leveraging language model for advanced multiproperty molecular optimization via prompt engineering
Prompt学习是一种通过向模型提供特定的文本提示（prompt）来引导其完成特定任务的学习方法。其核心思想是利用大规模预训练语言模型对语言模式和结构的丰富知识，通过精心设计的提示，激活模型对于特定任务的理解和执行能力，而无需进行专门的任务微调。传统的多目标优化方法通常需要将多个目标函数合并为一个单一的目标函数，这种方法虽然简单，但可能无法很好地处理多个目标之间的权衡，进而影响优化效果。的方式，允许模型在没有明确的多目标函数的情况下，同时优化多个分子性质。架构的分子优化方法。）中的分子，提取出不同的。
2024-11-10 19:07:19
589
原创 循环神经网络
循环神经网络在处理序列数据方面有着一定的优势，但是由于循环神经网络强调时间依赖关系，在一些任务中训练效果并不好，以下是我搜集到的资料以及个人总结。循环神经网络（Recurrent Neural Network, RNN）是一种适合处理序列数据的神经网络架构。它通过其内部的循环结构能够捕捉时间序列中的依赖关系，广泛应用于自然语言处理、时间序列预测等领域。
2024-10-27 18:08:46
365
原创 transformer
位置编码（Positional Encoding）：是Transformer模型中的一个重要组成部分，用于提供序列中元素的位置信息。由于Transformer架构没有内在的序列顺序信息，位置编码帮助模型理解输入数据中各个元素的相对或绝对位置，从而有效捕捉上下文关系。在多头注意力模式中，在处理同一（Quary、Key、value）时我们希望模型可以学到更多的知识然后想所学的知识进行一个归一化的处理。查询（Query）、键（Key）和值（Value）是三个核心概念:这里就不说具体概念了，举一个简单的例子。
2024-10-27 16:42:46
256
原创 attention-sellf-attention
在解读 transformer前我们需要先了解 Attention机制。Attention就是权重，近几年最流行的模型如Transformer、Bert、gpt都是在attention上发展起来的。例：当我翻译一段话时。beijing winter games，如果只考虑games呢最多的翻译就是游戏、winter单独翻译就是冬天，但是采用注意力机制翻译后，将beijing 和 winter 加以注意那么翻译出来就是冬奥会，games的意思就变成了比赛。
2024-10-25 20:42:01
525
原创 Chain-aware graph neural networks for molecular property prediction
Chain-aware graph neural networks for molecular property prediction
2024-10-20 15:49:54
997
原创 防止过拟合l2、l1、droupout
梯度爆炸、梯度消失 博主：风中摇曳的小萝卜。不止取决与误差还取决与高维的数使得更加平滑。使得W的每个平方项的和小于这个值。
2024-10-20 15:32:00
229
原创 self __init__ super用法
在 Python 中，__init__是类的构造函数，用于初始化对象的属性。这个方法在创建类的实例时自动调用，允许你为对象设置初始状态。
2024-10-19 16:34:09
624
原创 梯度下降算法
梯度下降（Gradient Descent）详解是一种优化算法，广泛应用于机器学习和深度学习中，用于最小化损失函数（loss function），从而提升模型的预测能力。它通过迭代更新参数（如权重）来找到损失函数的局部最小值。以下是梯度下降的关键要素和过程。
2024-10-15 21:42:05
325
原创 论文Convolutional Neural Networks for Sentence Classification解读、基于卷积神经网络的语句分类
one-step:输入的句子通过词嵌入表示为一个二维矩阵，其中每一行代表一个词的向量（通常使用预训练的词嵌入，如Word2Vec或GloVe）。L2正则化是一种有效的防止过拟合的方法，通过在损失函数中引入权重的平方和惩罚项，促使模型学习到更平滑、具有更强泛化能力的特征。Softmax函数的输出值介于0和1之间，并且所有输出的总和为1，因此它非常适合用于分类问题中预测每个类的概率。Softmax函数的输出值介于0和1之间，并且所有输出的总和为1，因此它非常适合用于分类问题中预测每个类的概率。
2024-10-15 19:19:54
822
原创 深度学习Pytorch版30页
在深度学习中，我们一般处理的数据都是数组形式的，MXNet中的ndarray以及Pytorch和Rensorflow中的tensor斗鱼numpy中的ndarray类似，会话：TensorFlow调用设备和资源去执行这种数据之间的依赖关系。图TensorFlow将计算表达为指令之间的一种关系依赖。ANN分为三层：输入层、输出层、隐藏层。张量：TensorFlow中的基本数据对象。节点：提供图当中执行的操作。机器学习的特征工程需要手动完成。Pytorch基础操作。
2024-10-08 19:55:28
188
原创 【无标题】
损失函数：最小二乘法。岭回归就是带正则化的线性回归。过拟合就让模型简单一点。回归评估方法 均方误差。正则化减少高次项的影响。实战：波士顿房价预测。
2024-10-05 22:52:08
233
原创 分类算法基础KNN
transform()进行最终转换。fit()计算每一列的平均值。1）直接比对真实值和预测值。根据邻居推算出类别，如何计算距离呢。1\ 实例化一个estimator。案例1 鸢尾花种类检测。1、sklearn转换器和预估器。案例facebook预测签到位置。
2024-10-04 22:45:43
442
原创 【无标题】
1、获取数据 2、数据处理3、特征工程 4、机器学习算法训练-模型 5、模型评估 6、应用。训练返回顺序为训练集特征值、测试集特征值、训练集目标值、测试集目标值。TF-IDF的主要思想是:如果某个词或短语在一篇文章中出现的概率高，并且在其他。文章中很少出现，则认为此词或者短语身有很好的类别区分能力，适合用来分类。TF是该词在文章中出现的频率，IDF总文件数目除以包含该词语的文件数目。对于标准化来说:如果出现异常点，由于具有一定数据量，少量的异常点。0维 标量 1维 向量 2维 矩阵 3维 n维。
2024-10-04 15:22:13
971
原创 自然语言处理NLTK篇
NLTK（Natural Language Toolkit）是一个用于处理人类语言数据的Python库。它提供了丰富的工具和资源，支持各种自然语言处理（NLP）任务，如文本分类、标记化、词性标注、命名实体识别、情感分析等。NLTK库以英语为主中文的自然语言处理jieba库效果更好。
2024-09-28 12:14:16
870
原创 Pytorch构建神经网络
torch.Tensor是整个package中的核心类,如果将属性.requires_grad设置为True,它将追踪在这个类上定义的所有操作,当代码要进行反向传播的时候,直接调用.backword()就可以自动计算所有的梯度.在这个Tensor上的所有梯度将被累加进属性.grad中。除了.detach(),如果想终止对计算图的回溯,也就是不再进行方向传播求导数的过程,也可以采。torch.nn构建的神经网络只支持mini-batches的输入,不支持单一样本的输入。估输入和目标值之间的差距.
2024-09-27 20:28:15
797
原创 Pytorch基础语法1
关于Torch Tensor和Numpy array之间的相互转换Torch Tensor和Numpy array共享底层的内存空间,因此改变其中一个的值,另一个也会随之被改变。Pytorch是一个基于Numpy的科学计算包,向它的使用者提供了两大功能。#创建一个没有初始化的矩阵,没初始化的矩阵不包含任何确切的值全是随机数。2：做为一款深度学习的平台,向用户提供最大的灵活性和速度。print(x[:,:3])切片切到 0，1，2三列。创建全0的矩阵，数据类型为long。
2024-09-26 21:07:39
360
原创 计算机视觉-车牌定位识别cv2不好使所以用 matplotlib代替
【代码】计算机视觉-车牌定位识别cv2不好使所以用 matplotlib代替。
2024-09-26 20:34:46
267
原创 torch如果和torchtext版本不兼容运行报错
没有权限在Anaconda目录下安装python库时可以在目录中找到文件夹右键点击属性，在安全中找到User在Users中勾选完成控制和修改，就有权限啦。torch如果和torchtext没下载到同一目录下是无法兼容的，我们通过下面代码来查看版本路径，看哪个没在anaconda路径下卸载重新安装即可。如果在进行安装并且你所安装的两个版本不冲突但还是无法运行时，可以新开虚拟环境。依次安装成功后，打开jupyter的项目后右上角勾选即可。注意此操作要在Anada。
2024-09-24 21:40:26
485
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人