无机肥料的博客

Hamming code

信源编码的效率信源编码器的 efficiency 为：其中 H(A) 是信源的熵，L 是编码后的 average codeword length示例

定义熵用于表述一个随机变量的不确定性一个随机变量 X 的熵 H(X) 的计算方式为：

信息量的大小由这条信息消除了多少可能性决定信息量在某些情况下是可加的，比如：得知一个六面骰子投掷三次的结果所包含的信息量，是得知投掷一次的结果的三倍用数学表达的话，可以假设可能的结果为 r投掷一次骰子可能产生的结果有 6 种，即 r = 6投掷三次骰子可能产生的结果有 636^363 种，即 r = 216可以得到：logb63=3⋅logb6log_b6^3=3\cdot log_b6logb​63=3⋅logb​6如此一来，我们便得到了信息量的表达式：其中 r 是 U 可能产生的结果

定义：Experiment: 投出骰子Event：结果Sample space：可能的 outcomes 的集合Random variableRV，通常用 X 表示，是一个函数这个函数可以将一个实数 x 分配给一个 outcome o，即：X(o)=xX(o)=xX(o)=x其中，P(X=x)P(X=x)P(X=x)是随机变量 X 取值为 x 的概率多个 outcome 可能会映射到同一个实数 x，但不同的数不能分配给同一个 outcome每个 RV 有他的 range，如果这个 ran