线性相关

作为一名不是很优秀的工科大学生，数学水平和理解能力确实有限。 鉴于本人记忆力又不太好，只得将一些感悟及时地写下，以供日后参考。
昨天我读到通信原理中的随机信号一章，对自相关函数甚是费解。 于是网上搜索加翻看数学基础概率论。 其中我想到，在信号与线性系统分析中也有涉及到信号的自相关函数，它的形式是对应时间点的信号值相乘后积分再取平均。 得到网上某位大佬的指点，我知道这不就和空间几何向量中或者线性代数中也有学过的向量的内积一样吗，向量的内积描述的是两个向量之间的线性相关度， 当两个向量的夹角为零，即两向量方向一致时达到最大值。 当夹角为90度时，垂直时，为0。正交函数同理。
如果把一连续区间内的一个连续函数值看成是一无穷维度的向量，那么两函数之间的内积就是自相关函数的形式， 即把求和改为求积分。若区间无穷大，则可以写成极限的形式。
既然二者的含义是相同的，对于信号来说，相关函数则描述的是两个信号之间的线性相关程度。 若把信号延时一段时间与原来的信号作相关， 就得到了信号的自相关函数。自相关函数描述的是，信号的线性相关度与时间差之间的关系， 可以想到若信号是周期的，那么当时间差是周期的整数倍时，总能得到一个最大值。

对于随机变量来说，相关又是怎么样的一个概念呢？ 我们最好不要先拿确知的函数去类比，因为你会发现搞得自己越来越晕。随机变量表示一次实验所有可能的结果和相应的概率，可以分布函数和概率密度函数描述一个随机变量。当一次实验有两个随机变量产生，该怎么描述呢？ 我们可以分别用分布函数和概率密度函数描述这两个随机变量。同时，我们还得知道这两个随机变量之间的关系。 由于这是两个不同的随机变量，它们的概率空间中的取值是不同的，所以我们必须在二维的概率空间中求它们的相关度。
结合上面两种取得线性相关的例子， 我们也可以简单的求得随机变量之间的线性相关。 对向量来说，线性相关形式是对应维度相乘在相加； 信号或函数则是对应自变量的函数值的相乘相加（积分）；而随机变量中没有对应关系怎么办？？ 我们就把所有情况全部列举出来，随机变量的一个取值对应另一个随机变量的所有取值，这是一个N*M取值空间，并且每一个对应的取值都有对应的概率这里叫做二维概率密度或者联合概率密度（两个取值同时出现的概率）。我们把概率作为权重，对所有可能的取值进行相乘再相加，得到的就称作随机变量的相关系数，其实相关系数和协方差描述的特征是一样的，只不过协方差计算时需要把随机变量的取值减掉均值。
那么随机过程的自相关函数是什么呢？？ 我们先看随机过程是什么？ 当随机变量又作为时间的函数时， 这个随时间变化的随机变量就是一个随机过程。 其中的任意一个时间点上的函数值都是一个随机变量。 随机过程怎么描述呢？ 我们仍然借用随机变量的那一套规则，随时间变化的均值和方差。 但是相关函数描述的是两个随机变量之间的关系，自然不能仅仅随时间变化，任意两个点的相关都是不同的，所以我们可以把相关函数的变量设为时间的某一个点和距离下一个点的时间长度。又由于相关函数的两个随机变量取自同一个随机过程，所以我们称他为自相关函数。自相关函数描述的是随机过程任意两个时间点的线性相关系数。
当随机过程是平稳的时候，即随机过程的统计特性与时间起点无关，也就是说一维的概率密度函数在任意时刻都相同，二维概率密度函数在某一时刻和相同时间距离时都相同，这就是与时间起点无关 的含义。
既然二维概率密度函数和时间起点无关，仅与时间间隔有关，那么自然随机过程的自相关函数也一样只和时间间隔有关。 也就是说对于平稳的随机过程， 仅用与时间间隔有关的自相关函数就可以描述整个随机过程，真是perfect！！ 它的形式和确知信号是相同的。 虽然形式是相同的，但要分清两者的不同， 随机变量的自相关是在概率空间中求得的，由于平稳的随机过程使得它的自相关函数与时间起点无关； 确知信号的自相关是在时间范围内求得的，在时间上做了平均，所以和时间起点也没有关系了。
总结一番：不管是向量的内积还是函数或信号的相关，确知或随机，它所描述的都是线性相关度，即满足一次函数关系，对随机变量也是如此， 即使两个随机变量之间的相关度等于零，也只能说明变量之间没有一点线性关系，但不能说它们相互独立，因为函数关系多得是，2次。。。
还有就是它们的物理含义。 信号相乘可以用来表示信号的功率， 某一时刻的信号的平方可表示信号的瞬时功率，瞬时功率的积分除以总时间表示的是平均功率。 即有，当自相关函数的时间间隔为零的时候，对确知信号来说表示的就是平均功率。 对随机信号来说，他表示的是某一时刻的瞬时功率，如果是平稳的随机过程，那么在任意时刻的瞬时功率都相等，所以瞬时功率就等于平均功率。我们所讨论的随机过程一般都是平稳的，因此我们就把自相关函数的间隔0也成为随机信号的平均功率。
再提一下各态历经性， 这是一个非常有趣的特性。 当平稳过程满足一定条件的时候会有这个性质。 即：随机过程的一次实现，称为样本函数，它在时间轴上的取值可以取到所有可能的取值。
根据书中的例子，当随机过程是均匀分布时，样本函数的时间平均和随机过程的统计平均相同。自相关函数也相同。
以上自相个人比较浅显的理解，没有严谨的公式推导过程，但已经足够了， 只要过去心坎，记公式什么的都是浮云。