qq_40887371的博客

GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,

softmax函数 softmax函数如下 f(x)i=exi∑j=1nexj,j=1,2,…,n f(x)_{i}=\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}}, j=1,2, \ldots, n f(x)i​=∑j=1n​exj​exi​​,j=1,2,…,n softmax上溢出(overflow)和下溢出(underflow)问题 c 极其大，导致分子计算ece^cec时上溢出。 c 为负数，且 |c|很大，此时分母是一个极小的正数，有可能四舍五入为0，导

pytorch几种乘法的区别 torch.mul()是矩阵的点乘，即对应的位相乘，要求shape一样, 返回的还是个矩阵 torch.mm()是矩阵正常的矩阵相乘，（a, b）* ( b, c ) = ( a, c ) torch.dot()类似于mul()，它是向量(即只能是一维的张量)的对应位相乘再求和，返回一个tensor数值 torch.mv()是矩阵和向量相乘，类似于torch.mm() np.dot(x,y) 如果x,y都是一维张量,那么np.dot(x,y)是∑i=0mxiyi\sum_{i=