- 博客(4)
- 收藏
- 关注
RSS订阅原创 Datawhale AI 夏令营 | 物质科学赛道Task3 | Transformer
弥补了循环神经网络和卷积神经网络的缺点：逐层信息传递过程中，每个词会依赖上一个词，容易出现信息错误和丢失。而transformer完全通过注意力机制完成对序列的全局依赖的建模，提高了准确性和计算效率。基于编码器-解码器架构来处理序列对，纯基于注意力机制。编码器输入后首先进入嵌入层，加入位置编码，经过Transformer块，最后一层的输出作为下一层的输入进行信息传递。关于transformer的详细介绍可以在Datawhale了解。
2024-08-03 22:03:46
1246
原创 Datawhale AI 夏令营 | 物质科学赛道Task2 | RNN/AI4Chem
分子指纹的维度常常是几千，例如task1里面的分子指纹，是4个2000维度的分子指纹进行拼接得到一个维度8000的位向量，是十分庞大的数据量。task1中使用的是机器学习中常见的决策树和随机森林模型，在task2中，引入深度学习，通过神经网络学习数据的特征和分布，简化了手动特征工程步骤。②同时，也可以学习和思考，如何将Additive , Solvent这两段的SMILES以一种“高效”的方式添加到模型的学习中，以增强模型的性能。①RNN参数设置：学习者可以自行尝试不同的参数，对比模型的性能。
2024-07-31 21:31:30
1741
原创 Datawhale AI 夏令营 | 物质科学赛道Task1
'''Parameters----------mol : molReturns-------'''由三个参数（摩尔值、指纹的位数、指纹的半径）-->返回的是分子指纹描述符阵列这里使用的是生成为Morgan指纹，可用于描述分子的结构和相似性，它基于分子的拓扑结构和半径参数生成。指纹的长度和半径参数可以根据需要进行调整，以平衡指纹的信息量和计算效率。smi_set = list(set(smi_lst)) #为什么这么操作？
2024-07-28 16:50:34
1611
原创 Datawhale AI 夏令营 | task3
卷积神经网络和循环神经网络都有各自的局限性，所以为了更好地描述文字序列，研究人员提出了新模型 Transformer。Transformer不再使用循环结构，而是完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。在抽取每个单词的上下文特征时，Transformer 通过自注意力机制（self-attention）衡量上下文中每一个单词对当前单词的重要程度。Transformer的主要组件包括编码器(Encoder)、解码器(Decoder)和注意力层。其核心是利用。
2024-07-20 19:49:04
611
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人