TensorFlow 实战（一）—— 交叉熵（cross entropy）的定义

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

对多分类问题（multi-class），通常使用 cross-entropy 作为 loss function。cross entropy 最早是信息论（information theory）中的概念，由信息熵（information entropy，与压缩比率有关）变化而来，然后被用到很多地方，包括通信，纠错码，博弈论和机器学习等。交叉熵与信息熵的关系请见：<a href=“http://blog.youkuaiyun.com/lanchunhui/article/details/50970625”, target="_blank">机器学习基础（六）—— 交叉熵代价函数（cross-entropy error）。

在运作对 loss function 的定义时，$yyy$ 是预测的概率分布，KaTeX parse error: Expected 'EOF', got '&' at position 4: y′y&̲#x27;y′ 是真实的概率分布（在多分类问题的 one-hot 编码），用来判断模型对真实概率分布估计的准确程度。

KaTeX parse error: Expected 'EOF', got '&' at position 33: …iyi′log⁡yiH(y,y&̲#x27;)=H_{y&#x2…

$iii$ 表示的是样本编号。此外交叉熵还可以用来度量两个同维度的向量之间的举例，二分类问题又可进一步展开为：

$$H(y,a)=Hy(a)=-(yloga+(1-y)log(1-a))H(y,a)=H_y(a)=-(y\log a+$$