m0_70860006的博客

原创 博客摘录「 算数编码详解」2023年11月12日

那么给定一段数据，用二进制表示，最少需要多少bit才能编码呢？或者说平均每个字符需要几个bit表示？其实这就是信息熵的概念，如果从数学上理论分析，香农天才地给出了如下公式： H(x)=−∑i=1np(xi)log2p(xi)) 表示每个字符出现的概率。log对数计算的是每一个字符需要多少bit表示，对它们进行概率加权求和，可以理解为是求数学期望值，最后的结果即表示最少平均每个字符需要多少bit表示，即信息熵，它给出了编码率的极限。