【Maxent】最大熵的数学原理及其在推断问题中的应用

Goodsta

已于 2024-09-08 17:53:37 修改

阅读量526

点赞数

文章标签：算法机器学习人工智能

于 2022-06-21 18:45:37 首次发布

本文链接：https://blog.youkuaiyun.com/wong2016/article/details/125393297

版权

本文介绍了最大熵的数学原理，并通过一个球和盒子的例子解释了熵的概念。接着，讨论了如何在生物学中应用最大熵原理来推断基因互作网络，其中最大熵概率分布用于满足无信息偏差和经验约束条件。最后，提到了最大熵模型的流程图。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者简介： 本文作者系大学统计学专业教师，多年从事统计学的教学科研工作，在随机过程、统计推断、机器学习领域有深厚的理论积累与应用实践。个人主页

熵与最大熵

一个例子

首先，让我们从一个经典的例子说明什么是熵(entropy). 假设有 $N$ 个球放在 $K$ 个盒子里。记第 $i$ 个盒子放进 $n_i$ 个球，这样， $\sum\limits_{i=1}^K n_i=N$ . 将 $N$ 个球放进 $K$ 个盒子，总计有 $\Omega$ 种放法，那么
$\Omega=\dfrac{N!}{n_1!n_2!\dots n_K!}\simeq e^{NH}$
其中， $H=-\sum\limits_{i=1}^K\dfrac{n_i}{N}\log\dfrac{n_i}{N}\ge0$