weixin_42038527的博客

【代码】使用ESM-2获取ContactMap。

学习了文本嵌入层的作用:无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示， 希望在这样的高维空间捕捉词汇间的关系。学习并实现了文本嵌入层的类：Embeddings初始化函数以d_model： 词嵌入维度， 和vocab：词汇总数为参数，内部主要使用了nn中的预定层Embedding进行词嵌入。在forward函数中，将输入x传入到Embedding的实例化对象中， 然后乘以一个根号下d_model进行缩放， 控制数值大小。它的输出是文本嵌入后的结果。

BERT是2018年10月由Google AI研究院提出的一种预训练模型。BERT的全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现。包括将GLUE基准推高至80.4%(绝对改进7.6%)，MultiNLI准确度达到86.7%(绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。

torch.nn.Embedding是用来将一个数字变成一个指定维度的向量的，比如数字1变成一个128维的向量，数字2变成另外一个128维的向量。不过，这128维的向量并不是永恒不变的，这些128维的向量是模型真正的输入（也就是模型的第1层）（数字1和2并不是，可以算作模型第0层），然后这128维的向量会参与模型训练并且得到更新，从而数字1会有一个更好的128维向量的表示。显然，这非常像全连接层，所以很多人说，Embedding层是全连接层的特例。

在用深度学习做回归问题时，对数据进行标准化处理是一个共识，将数据标准化，利用标准化后得数据进行数据分析。不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。那么对标签是否进行归一化就需要从实际问题出发，比如我在做药物分子溶解度预测时，溶解度的取值从0-5000，值的分布范围较大，这就需要进行归一化处理，因为我这个数据中出现了奇异

小白要开始系统学习深度学习了，计划用时一个月（2020.12.18-2021.01.18）学习任一门知识都应该先从其历史开始，把握了历史，也就抓住了现在与未来———by BryantLJ注：以下全部参考博客https://blog.youkuaiyun.com/u012177034/article/details/52252851，由图可以明显看出DL在从06年崛起之前经历了两个低谷，这两个低谷也将神经网络的发展分为了三个不同的阶段，下面就分别讲述这三个阶段。# ===================.