算法导论16.3-5

• 问题描述
  证明：如果我们将字母表中字符按频率单调递减排序，那么存在一个最优编码，其码字长度是单调递增的。
• 问题分析
  任务是证明存在一个码字长度单调递增的最优编码，那么如果可以从它的反例推出码字长度单调递增的编码是最优编码，则问题可以求证。
• 问题求解
  ①假设字母表为：$\{c_1,c_2,...c_n\}$，字母出现的频率用$f$表示，字母对应的码字长度用$d$表示。则用数学的语言描述待证明的问题是：如果$f(c_1)\geq f(c_2)\geq ...\geq f(c_n)$，那么存在最优编码使得$d(c_1)\leq d(c_2)\leq ...\leq d(c_n)$。
  ②假设在字母集的一个最优编码$T$中，存在$i<j$,$f(c_i)\geq f(c_j)$，$d(c_i)>d(c_j)$。通过交换$T$中$c_i$和$c_j$的编码，可以得到编码$T^{'}$。$T^{'}$中字母的频率和字码长度分别用$f^{'}$和$d^{'}$表示，则$f^{'}(c_i)\geq f^{'}(c_j)$，$d^{'}(c_i)<d^{'}(c_j)$。则
  $$B(T)-B(T^{'})\\ =\sum_{k=1}^nf(c_k)(d(c_k)-d^{'}(c_k))\\ =f(c_i)[d(c_i)-d^{'}(c_i)]+f(c_j)[d(c_j)-d^{'}(c_j)]\\ =f(c_i)[d(c_i)-d(c_j)]+f(c_j)[d(c_j)-d(c_i)]\\ =[f(c_i)-f(c_j)][d(c_i)-d(c_j)]\\ \geq 0$$
  因此$B(T)\geq B(T^{'})$。由于$T$是字母集的一个最优编码，所以$T^{'}$也是字母集的一个最优编码。