qq_36525099的博客

文章目录1信息熵2相对熵（KL散度）3交叉熵 1信息熵 系统越有序，信息熵越低（越可能发生的事情发生，信息量越低，不太可能的事情发生，才能搞个大新闻） 所以X=[0,1,0],H(X)=0 X=[0.2,0.2,0.6],H(X)=0.95 H(X)=−∑i=1np(xi)log⁡p(xi) H(X) = - \sum\limits_{i = 1}^n {p({x_i})\log p({x_i...

最近在阅读花书《深度学习》10.2循环神经网络，对该节公式（10.21）有所疑惑，主要是发现该公式的梯度表示维度计算有问题，且与（10.22）~（10.28）有矛盾，因此本文基于刘建平老师原文原文链接：循环神经网络(RNN)模型与前向反向传播算法，添加了部分基础知识和更细节的公式推导，探究问题所在。感谢刘老师！！！刘建平老师博客地址 1 预备数学 1.1 tanh与导数 tanh函数是一种激活函数...

//C #include <stdio.h> int main() { printf("Hello World"); } //Java public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World"); } ...