第一章 信息论的基本概念

            《1》通信系统的统计模型：

                     《2》熵是信源中所含平均信息量的度量。但是,信源的任何一种表示符号序列中, 每符号携带的信息量,即信源传信率是一定的。记信源的熵为H。 某种表示法或称某种信源编码的传信率为R , 那么当R> H 时, 就说明这种表示方法的效率不是最优的, 信源编码的目的就是尽可能多的去除冗余度,提高信源的表示或描述的效率。

                     《3》在保证信息的完全输运的前提下, 传输率可以降低的程度是有限的。这一基本界限是信源的熵 。当R > H 时, 一定存在某种信源编码方式使信息能完全输运; 否则, 当R ≤H ,就是不可能的。这一结论就是信源编码定理。

                     《4》任何信道上所能传输的信息是一定的。对于任何信道,在保证可靠性的前提下,信道的传输率是可以提高的程度也是有限的,其上届就是信道的容量C为了提高传输的可靠性,一个有效的方法就是对信息进行处理,将它的载体信号变换成能够抵抗信道干扰的形式,这就是信道编码。信道编码必然在信号中引入冗余度。一个好的信道编码是保证足够的可靠性又使信道的传输率R尽可能高。在保证信息的可靠输运的前提下,R可以高到多少呢？这一基本界限是信道的容量C,当R<C,一定存在某种信道编码方法,使信息能够可靠输运,否则,当R≥ C ,这就是不可能的。这一结论就是信道编码定理。

                     《5》信息论中应用得最基本的性能准则是差错概率和平均失真量度。差错概率是指发送和接受的消息信号不一致的概率。当发送和接受信号不一致时,表明信息不能够完全地传输给用户。当这种概率可以做到任意小时,就是“完全运输”信息的真实意义。同样,在信道上的信息传输中,如果发送和接受信号不一致,则说明由于信道干扰使信息遭到破坏,如果这种不一致的概率可以做到任意小时,就是“可靠输运”的真实意义。

                     《6》信源为{X(t ,ω) , Px(X , t)} , 其中X(t ,ω)表示一个随机过程, Px(X, t)表示它的分布。

《7》AWGN（加性高斯白噪声）
                       加性高斯白噪声（AWGN）从统计上而言是随机无线噪声，其特点是其通信信道上的信号分布在很宽的频带范围内 。     
                      高斯白噪声的概念."白"指功率谱恒定;高斯指幅度取各种值时的概率p (x)是高斯函数.
                      加性高斯白噪声在通信领域中指的是一种各频谱分量服从均匀分布（即白噪声），且幅度服从高斯分布的噪声信号。因其可加性、幅度服从高斯分布且为白噪声的一种而得名。

                 《8》加性噪声一般指热噪声、散弹噪声等，它们与信号的关系是相加，不管有没有信号，噪声都存在。而乘性噪声一般由信道不理想引起，它们与信号的关系是相乘，信号在它在，信号不在他也就不在。一般通信中把加性随机性看成是系统的背景噪声； 而乘性随机性看成系统的时变性（如衰落或者多普勒）或者非线性所造成的。

                《9》人们发现：<1>信息量的多少与该事件的出现概率有关,概率越小,信息量越大; <2>两个事件如果是是独立的,它们含有的信息量等于它们各自含有信息量的和,称之为可加性。信息量的度量应为： I( X =x) = - log p(x) ,p(x) 越小,[X = x]事件含有的不确定性就越大; 以2为底,单位为比特 ,以e为底,单位为奈特,以10为底,单位为哈特莱。

《10》公理化互信息I(x ; y ) = log ( p(y | x) / p(y) ) ,当时间[Y = y] =>[X = x] 时, p(x | y) = 1 ,这就是说, 当[Y = y] 发生后, 关于[X = x]的不确定性就消除了,这时候就有

I (x ; y ) = log( p(y | x ) / p( y ) ) = log( p(x | y) / p( x ) ) = -logp(x) 定义I(x ; y) 的这种特殊情况为事件[X = x]的自信息量,记为：I( x ) = -logp(x) 

对I(x) 求平均,就得到X的熵(entropy) : H(X) = -∑ p(x)logp(x) (∑的下届为x) , H(X) 是信源{X , Px( · ) }的平均信息量。下面是H(x)的两条定理：