- 博客(3)
- 收藏
- 关注
RSS订阅原创 Transformer
计算机无法识别文字信息，需要将文字信息转化为数字信息，词嵌入，如下：通过不同权重计算文字对应的数字信息。位置信息通过正余弦函数进行获取，如下：然后与数字信息相加获取位置编码，如下：完成编码词和位置编码的值接下来就是Q（Query） K（Key） V（Value） ，这里是一个Q的计算，其他类似（采用权重求和）Q*V（论文里面是这样的）在通过一个SoftMax函数得到对对应的值，然后计算V的值可以对上述两个框框线线化简多头自注意力机制（很多自注意力）
2025-07-09 20:22:59
193
原创 高斯过程回归（Gaussian Process Regression, GPR）
给出一张先验的图上图是从（-5，5） 选取的100个点作为输入点，然后从多元高斯分布得到的函数值（先验随机绘制的三个函数）。因为现在没有观测数据，所以我们从这个分布中。
2025-04-18 19:29:52
2741
原创 信息物理神经网络—PINN
简单来说PINN = NN + physics，我们可以从上图看出，一个全连接神经网络的损失函数变成了几个部分，训练数据的损失函数、微分方程的损失函数、初始约束的损失函数以及边界条件的损失函数。如上图一个全连接神经网络通过数据得出了一个输出u，这个u通过微分算子计算得出了一部分微分方程，这些微分方程组成了新的损失函数。同样如此，分别对不同的输出进行微分计算，得到其微分表达式，然后进而得到损失函数进行反向传播。这是一个传统的神经网络，通过反向传播对权重和偏执进行更新，得到符合要求的模型。
2024-06-21 20:14:52
1838
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人