交叉熵的由来

交叉熵的是由如下两个输入条件，求积分，得来的公式：

（1）损失函数得是sigmond。

（2）梯度需要正比于输入和输出的差值，也就是输入和输出差值越大，对参数的调整力度越大。假设输入是y，输出是a，则梯度方向就是y-a。

 

推导过程如下：

y = wx + b。  最终输入是梯度方向就是（式1）：

 

σ(Z)就是激励函数。

我们需要的梯度方向如下(式2)：

令式1等于式2，

 对两侧求积分，可得：

this is 交叉熵代价函数。

感谢

https://blog.youkuaiyun.com/u014313009/article/details/51043064

这篇文章的作者。我剽窃了你的图和说明。进行了一定的提炼。