证明准对称信道容量公式：P22214029彭方略，P22214030鲍国志

本文链接：https://blog.youkuaiyun.com/lily_ahu/article/details/140271689

一、引言

信息论由克劳德·香农（Claude Shannon）在20世纪中期创立，是研究信息的测量、传输和处理的科学。信息论的核心问题是如何在给定的约束条件下，最大化信息传输的效率和可靠性。信息论的应用范围广泛，包括通信系统、数据压缩、密码学、生物信息学和机器学习等。

信道容量是信道所能传输的最大信息速率，是信息论的一个核心概念。香农在其1948年的论文中提出了信道容量的定义和计算方法。信道容量是指在给定噪声水平下，信道能够可靠传输的最大信息速率。

对于一个离散无记忆DMC信道，信道容量定义为：

其中，表示输入随机变量和输出随机变量的互信息，是输入信号的概率分布。

互信息表示和之间的依赖关系，定义如下：

这里，是的信息熵，是在已知的情况下的条件熵。

二、准对称离散无记忆DMC信道

1.概念

准对称离散无记忆信道（Quasi-symmetric Discrete Memoryless Channel, QDMC）是一种特殊类型的DMC信道。对于准对称信道，信道的转移概率矩阵具有某种对称性，使得信道容量的计算更加简化。

具体来说，准对称信道的特性包括：

对称性：信道的转移概率矩阵中的每一行都是某种形式的排列。
无记忆性：信道的当前输出仅依赖于当前输入，而不依赖于之前的输入和输出。
离散性：信道的输入和输出都是离散的随机变量。

2.信道模型

一个典型的准对称DMC信道可以用信道转移概率矩阵来表示，其中是在输入为时输出为的条件概率。假设输入字母表为，输出字母表为，则准对称信道的转移概率矩阵满足以下条件：

转移概率矩阵输入对称而输出不对称，即转移概率矩阵的每一行都包含同样的元素而各列的元素可以不同。矩阵的每一行是相同元素的排列或相同元素的置换。

3.准对称离散无记忆信道容量的计算公式及推导证明

1）计算公式

其中是信道容量，以比特为传输单位；是输入符号的数量；是信道的输出熵定义为：这里的是输出符号的概率。

2）推导证明

设准对称信道的矩阵为:

          P=(p(y1|x1)p(y2|x1)…p(ys|x1)p(y1|x2)p(y2|x2)…p(ys|x2)… p(y1|xr)p(y2|xr)…p(ys|xr))

将矩阵P分为n个对称子阵P1,P2,⋯,Pn;对应的输出符号集Y划分为Y1,Y2,⋯,Yn ;设xi∈X(x1,x2,…,xr) ,则有：

                  I(xi;Y)=∑Yp(y|xi)log2p(y|xi)p(y)

                       =∑Yp(y|xi)log2p(y|xi)−∑Yp(y|xi)log2p(y)

因为P是准对称矩阵，它的行元素由{q1,q2,⋯,qs} 排列而成

所以有:

                 ∑Yp(y|xi)log2p(y|xi)=−H(q1,q2,…,qs)   (其中i=1,2,…,r)

设P(xi)=1/r，即输入等概分布，则后一项为：

                ∑Yp(y|xi)log2p(y)

               =∑Yp(y|xi)log2∑Xp(y|xi)p(xi)

                =∑Yp(y|xi)log2(1/r)∑Xp(y|xi)

               =∑y∈Y1p(y|xi)log2(1/r)∑Xp(y|xi)+∑y∈Y2p(y|xi)log2(1/r)

其中，Ni表示xi固定时，矩阵Pi中行元素之和，也是一个常数。

所以有：

                 ∑Yp(y|xi)log2p(y)

                 =N1log2M1/r+N2log2M2/r+⋯+Nnlog2Mn/r

                =∑nk=1Nklog2Mk/r

所以得到：

             I(xi;Y)=−H(q1,q2,⋯,qs)−∑nk=1Nklog2Mk/r

                  =log2r−H(q1,q2,⋯,qs)− ∑nk=1Nklog2Mk

                  =C(常数)

根据定理，有：

C= log2r−H(q1,q2,⋯,qs)− ∑nk=1Nklog2Mk

证毕