博观而约取，厚积而薄发

大家好，今天和各位分享一下长短时记忆网络 LSTM 的原理，并使用 Pytorch 从公式上实现 LSTM 层上一节介绍了循环神经网络 RNN，感兴趣的可以看一下：https://blog.youkuaiyun.com/dgvv4/article/details/125424902我的这个专栏中有许多 LSTM 的实战案例，便于大家巩固知识：https://blog.youkuaiyun.com/dgvv4/category_11712004.html循环神经网络的记忆功能在处理时间序列问题上存在很大优势，但随着训练的不断进行，R

今天和各位分享一下处理序列数据的循环神经网络RNN的基本原理，并用 Pytorch 实现 RNN 层和 RNNCell 层。之前的博文中已经用过循环神经网络做过许多实战案例，感兴趣的可以看我这个专栏：https://blog.youkuaiyun.com/dgvv4/category_11712004.html在循环神经网络中，序列数据的 shape 通常是 [batch, seq_len, feature_len]，其中 seq_len 代表特征的个数，feature_len 代表每个特征的表示方法。对于自然...

1. 图论基础下图是一个网络图，一共有6个节点。它的邻接矩阵为A，用于描述图的结构。若两个节点之间有连边，那么邻接矩阵中该元素为1，否则为0。以第0个节点为例（A的第一行），0节点和1、4节点有连边，那么矩阵元素为1。然而，如果每个节点有其自身的特征，那么邻接矩阵无法准确表达这个图。矩阵 H 代表节点的特征矩阵。矩阵中的每一行代表每个节点的特征向量。例如0节点的特征向量是 [1, 11]。有了邻接矩阵和节点矩阵就能表述网络图了，将邻接矩阵和节点矩阵相乘，我们发现相乘结果矩阵没...

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。1. 权重初始化神经网络中的所有权重都能通过梯度下降和反向传播来优化和更新。现在问题来了，如果每一层的权重全部初始化为同一个常数，不同层的常数可以不一样，会发生什么呢。这样会导致同一层的所有神经元前向传播和反向传播完全相同。如下图，前向传播过程中，每一个隐层接收到的输入是一样的(x1,x2,...)，每个隐层神经元对应每个输入神经元的权重又是相同的，那么每个隐层神经元的输出是一样的。那么它们反向传播回来的

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。激活函数的作用是把神经元的输入线性求和后，放入非线性的激活函数中激活，正因为有非线性的激活函数，神经网络才能拟合非线性的决策边界，解决非线性的分类和回归问题1. Sigmoid 函数作用：将负无穷到正无穷的输入，映射到0到1之间。公式：若x=0，函数值=0.5,；若x很大时，函数值非常接近1；若x很小时，函数值非常接近0特点：（1）将负无穷到正无穷的任何输入，都挤压成0到1之间的一个数

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。如下图所示，现在有shape为 32x32x3 的图像，如果使用全连神经网络，将图像拉长成一个一维向量[None, 3072]；使用10个线性分类器，每个分类器是一个一维向量，含 3072 个权重，和图像做点乘，每个分类器得到1个值，得到输出特征向量为 [None, 10]使用全连接神经网络处理图像分类问题存在的缺陷是，将二维图像拉平成一维向量之后，丢失了图像的空间信息。为了解决这个问题，引入卷积操作。.

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。已知一张图像属于各个类别的分数，我们希望图像属于正确分类的分数是最大的，那如何定量的去衡量呢，那就是损失函数的作用了。通过比较分数与真实标签的差距，构造损失函数，就可以定量的衡量模型的分类效果，进而进行后续的模型优化和评估。构造损失函数之后，我们的目标就是将损失函数的值最小化，使用梯度下降的方法求得损失函数对于每个权重的偏导数。损失函数公式如下，f 代表一张图像属于每个类别的分数；yi 代表真实的标签；Li