信道及其容量的问题

信道及其容量的问题

         信道的定义是广义的，可以指一段线路，也可以包含了设备的复杂系统。若信道的输入为X=(X₁,X₂，......，X_i，......)，输出为Y=(Y₁,Y₂，......，Y_i，......)，通常定义条件概率p(Y|X)来描述信道输入输出之间的依赖关系。

       信道的分类：

BSC，二进制离散信道。信道的输入和输出符号数都是2，转移概率为：

p(Y=0|X=1)=p(Y=1|X=0)=ρ

p(Y=1|X=1)=p(Y=0|X=0)=1-ρ

二进制离散信道的输出转移概率ρ恒小于0.5。因为若大于0.5，可以再输出端加入反相器使得ρ小于0.5。

DMC，离散无记忆信道，信道的输入为n元符号X∈{a₁,a₂,......a_n}，信道输出为m元符号Y={b₁,b₂,......b_m}。转移概率矩阵P=[p(b_j|a_j)]=p_ij。即