
信息论
文章平均质量分 54
条件反射104
中国科学院大学自动化研究所
展开
-
信息熵、交叉熵、相对熵
原创 2022-03-02 21:19:33 · 341 阅读 · 0 评论 -
信息论:熵、相对熵、互信息、链式法则
文章目录Entropy熵的定义Joint EntropyConditional Entropy链式法则Zero EntropyRelative EntropyMutual Informationvenn图表示熵和互信息的关系熵的链式法则信息的链式法则Conditional Relative Entropy某些性质Entropy熵的定义二进制熵函数:熵还可以看作是以下的期望值:对于熵有以下性质:Joint Entropy联合熵的定义:联合熵与熵的结论:联合熵同样可以写为期望的形原创 2021-10-09 09:47:40 · 6374 阅读 · 1 评论