weixin_39420394的博客

原创 深度学习

信息熵及梯度计算信息熵信息熵热力学中的熵：是表示分子状态混乱程度的物理量信息论中的熵：用来描述信息源的不确定性的大小信源信息的不确定性函数f通常满足两个条件：是概率p的单调递减函数两个独立符号额所产生的不确定性应等于各自不确定性之和，即f(p1,p2) = f(p1)+f(p2)对数函数同时满足这两个条件：f§ = log(1/p) = -log§信息熵：要考虑信源所以可能发生情况的平均不确定性。若信源符号有n中取值：U1,…,Ui,…,Un,对应的概率分别为p1,…,pi