ChatMol: A Versatile Molecule Designer Based on the Numerically Enhanced Large Language Model

摘要

面向目标的全新分子设计,即生成具有特定性质或子结构约束的分子,是药物发现中一项至关重要但极具挑战性的任务。现有的方法,如贝叶斯优化和强化学习,通常需要训练多个性质预测器,并且在纳入子结构约束方面存在困难。受大语言模型(LLMs)在文本生成领域成功的启发,我们提出了ChatMol,这是一种新颖的方法,利用大语言模型在多种约束条件下进行分子设计。首先,我们构建了一种与大语言模型兼容的分子表示形式,并在多个在线大语言模型上验证了其有效性。随后,我们针对各种受约束的分子生成任务开发了特定的提示词,以进一步微调当前的大语言模型,同时整合从性质预测中获得的反馈学习。最后,为了解决大语言模型在数值识别方面的局限性,我们参考位置编码方法,在提示词中对数值进行额外编码。在单性质、子结构 - 性质和多性质约束任务上的实验结果表明,ChatMol始终优于包括基于变分自编码器(VAE)和强化学习的方法在内的最先进基线模型。值得注意的是,在多目标结合亲和力最大化任务中,ChatMol针对蛋白质靶点ESR1实现了显著更低的KD值0.25,同时保持了最高的整体性能,比先前的方法提高了4.76%。此外,通过数值增强,指定的性质值与生成分子的性质值之间的皮尔逊相关系数提高了0.49。这些发现凸显了大语言模型作为通用分子生成框架的潜力,为基于传统潜在空间和强化学习的方法提供了有前景的替代方案。
在这里插入图片描述

引言

探索小分子的化学空间以发现新药和新材料,是药理学和人工智能辅助科学研究中的关键问题。

### CrossFormer Vision Transformer Overview CrossFormer是一种基于跨尺度注意力机制的多功能视觉变换器模型,旨在通过多尺度特征融合提升计算机视觉任务的表现。该架构设计的核心在于引入了跨尺度自注意力(Cross-Scale Self-Attention, CSSA)模块,使得网络能够在不同分辨率下捕捉到丰富的上下文信息。 #### 跨尺度自注意力机制 CSSA允许CrossFormer在同一层内处理来自多个感受野的信息。具体来说,对于给定的一组图像补丁(patch),CSSA会计算它们与其他尺度上的补丁之间的相似度得分,并据此调整权重分配。这种机制有助于捕获更广泛的空间依赖关系,从而提高对复杂场景的理解能力[^1]。 #### 实现细节 在实现方面,CrossFormer采用了分层结构,每一层都由若干个CSSA单元组成。以下是主要的技术特点: - **多尺度输入表示**:每个多头自注意(Multi-head Self-Attention, MSA)操作前先将输入划分为固定数量的不同尺寸的小窗口(window partition)[^2]。 - **相对位置编码**:采用可学习的位置偏置来建模token间的关系,而不是绝对坐标,这增强了模型泛化能力和效率[^3]。 - **高效降采样策略**:利用卷积神经网络(Convolutional Neural Networks, CNNs)中的池化(pooling)方法作为替代方案,在减少计算量的同时保持足够的表达力[^4]。 ```python class CrossScaleSelfAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads # Define linear layers for queries, keys and values with optional bias term. self.qkv = nn.Linear(dim, 3 * dim, bias=qkv_bias) ... def forward(self, x): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) ... ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值