MIMO通信基础-Robert W.学习1

1.信息论主要理论和MMSE评估

1.1引言

香农创立信息论，广泛应用于信息科学，数据压缩和存储，通信；我们主要学习信息论中的通信数学理论；（需要一点基础，有关通信原理，概率论，随机过程）

1.2信号分布

通信研究的是复数信号；实部--in-phase（同相）分量；虚部--quadrature（正交）分量；

如此，我们定义一个复数标量s作为信号，其服从复高斯分布，均值为0，方差为1.(该分布很常见，且很重要，因此这个概念自行百度学习，一般为实部虚部相互独立，都服从相同高斯分布)

但实际传输的复数信号s是实部和虚部从分布中选取M个取值，构成M个点组成的，定义为s0，...，sM-1；s集合各自出现的概率分别为p0，...，pM-1；

这样我们就得到了一个基本概念：星座图

M-PSK：选取M个信号的方式如下

Φ0是随机初始相位，不影响；而经典的B-PSK和QPSK就是分别M取2和4；

M-QAM：选取M个信号的方式如下，同相和正交分量都从下面这个集合取值构成一个信号s，4QAM和QPSK是重合的；

有上图为例，我们知道两种方式下，信号集合之间的最小距离(抗干扰能力)如下表

下面主要是信息论部分，可以跳过

1.3信息量

重要基本概念：信息=不确定性；

因此我们要了解一些基本的随机变量和随机过程；随机意味着不确定性。

首先，我们用bit单位,即熵中采用log2为底，别的也有byte(log8)，nat(loge)。（看下面）

1.3.1熵

单个随机变量情况(需要概率论知识)

假设x是离散随机变量，其概率密度函数PMF是px(-),则随机变量x的熵求法定义如下：

熵H(x)非负，和x取值无关，与x不同取值的概率有关，x均匀分布是H(x)最大的情况=log2(M)

联合随机变量情况

假设x0，x1是离散随机变量，联合PMF为px0x1(-,-),边缘概率为px0，px1

联合熵求法定义为：

如果二者独立

条件相关随机变量情况

如果我们知道了随机变量y的结果，那么x还有多少不确定性（熵），求法如下

反之，我们也能推出H(x,y)

当延伸到向量，涉及到两个以上的变量时，链式规则概括为

（上述部分是一些基本概念，写不清楚的地方，搞不懂可以搜信息论，概率论视频）

1.3.2微分熵

要求随机变量x是连续的，在得知x的概率密度函数PDF时，求法如下

要小心，这是在复平面进行积分，和前面求熵不同。具体先不太关心略过。

我们只给出两个重要的例子，复高斯微分熵。

（1.20）告诉我们

1：微分熵有平移不变性，与均值μ无关，因此总是可以对一个随机连续变量均值取0求微分熵。

2：告诉我们对于一个方差为σ²的随机变量x，其微分熵一定≤(1.21)

R是协方差矩阵(计算方法请百度)，上面这个证明可以自行搜索别的文章。

1.3.3熵速率

结束对信息内容的讨论，让我们将注意力从随机变量转向随机过程(随机过程也是一本书，可以自行学习简单了解)。离散随机过程{x0，...，xN−1}是由时间索引n确定的N个离散随机变量序列组合而成。如果其中x0，...，xN−1的是完全独立同分布(简写为IID)，

这个随机过程{x0,...,xN-1}的熵，会随着N增加而按照速率H(x0)线性增加，则记熵速率为：

如果是平稳过程，即x的概率不随时间改变，则有熵速率为：

1.4相关熵

快到信道容量的知识了，加油。。。其实推理过程挑着看，看重点，不多。

两个离散变量，知道PMF，且二者相关。则有依赖q下的p相对信息熵为

有不同，没负号，而且形式和条件熵不同，留意一下：

对于两个连续变量，定义类似：

1.4.2互信息量

给定两个随机变量s和y，它们之间的互信息，用I（s；y）表示，量化了当观察到y时发生的s值的不确定性的减少，反之亦然。互信息是对称的，因此I（s；y）= I（y；s）。用最简单的术语来说，互信息度量一个随机变量所包含的关于另一个随机变量的信息。

离散情况如下（可跳过）

连续情况如下（可跳过）：

信息论部分结束

熵和微分熵以及互信息都有平移不变性，不受相应随机变量的均值的影响，因此，在接下来的推导中，可以限制为零均值分布。

复高斯噪声信道的容量：

ρ是信噪比，s是发送符号，z是噪声，ρs+z是接收符号y

其他例如MIMO复数高斯噪声信道容量等，在书中，这里不列写。

1.5可靠通信

1.5.1基本抽象化的通信链路

我们发送2^(Nbits)的数据，先每2个一组，共有N个复数符号s[0],...,s[N-1],接着放大成发送信号x[0],...,x[N-1],

内容有点多，一点点记录写吃不住，我会后面大概率可能会只挑重点出来记录，这第一章剩下的内容，打算只记录后面的最大似然ML和最小均方误差MMSE，以及线性LMMSE章节的重要内容。