信息熵与压缩编码基础

最新推荐文章于 2022-07-16 17:13:58 发布

@欢欣症

最新推荐文章于 2022-07-16 17:13:58 发布

阅读量569

点赞数

分类专栏： Come to the foot of the mountain

本文链接：https://blog.youkuaiyun.com/explain_sin/article/details/117306176

版权

信息熵香农编码霍夫曼编码编码理论概率分布

关键词由优快云通过智能技术生成

Come to the foot of the mountain 专栏收录该内容

34 篇文章

订阅专栏

本文介绍了信息熵的概念，由信息论之父香农提出，用于量化信息的不确定性。通过实例展示了如何计算信息熵，并对一串包含A到E符号的消息进行了香农编码和霍夫曼编码的步骤及结果展示。香农编码根据概率从大到小分配码字，而霍夫曼编码通过构建最优二叉树实现更高效的编码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

信息熵简介

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
　　直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
　　信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
　　信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
　　Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。