qq_36835991的博客

在机器学习中常用到交叉熵损失函数，其来源于信息论，用以描述两个两个分布之间的差异。为便于理解，下面描述几个相关定义。假设X为一个离散随机变量，则X=x0的自信息（可理解为X=x0发生所携带的信息）为： 单自信息只处理单个输出，为描述整个概率分布的不确定性总量，我们定义熵： 其表示遵循该分布的事件所产生的期望信息量总和（不确定性总量越大，则信息总量越大）。假设对于同一随机变量X,我们有两个单独的概率...

文章目录RNN、LSTM、GRU 的梯度消失及梯度爆炸RNNRNN 结构前向传播损失函数后向传播（BPTT）LSTMLSTM 结构前向传播后向传播GRUGRU 结构前向传播后向传播ReferenceRNN、LSTM、GRU 的梯度消失及梯度爆炸RNNRNN 结构RNN 所有的隐层共享参数 (U,V,W)(U, V, W)(U,V,W)。前向传播假设 ttt 时刻的输入为 xtx_tx...