香农编码
前段时间在《信息论与编码》这门课中学习了各种编码方式,这里记录一下香农码。
设离散无记忆信源(XP(X))=(a1a2…anp(a1)p(a2)…p(an))\begin{pmatrix} X \\ P(X) \end{pmatrix}=\begin{pmatrix} a_1&a_2&\ldots&a_n \\ p(a_1)&p(a_2)&\ldots&p(a_n) \end{pmatrix}(XP(X))=(a1p(a1)a2p(a2)……anp(an)),0≤p(ai)≤10\le p(a_i) \le 10≤p(ai)≤1,∑i=1np(ai)=1\sum_{i=1}^{n}p(a_i)=1∑i=1np(ai)=1。
编码步骤:
- 将信源符号按概率从大到小的顺序排列。不妨令p(a1)≥p(a2)≥…≥p(an)p(a_1)\ge p(a_2)\ge\ldots\ge p(a_n)p(a