本文详细探讨了互相关系数和互信息的概念、区别与联系。在高斯分布下，两者等价，可通过转换公式I(X,Y)=−12log(1−r2)相互转化。互相关系数仅反映线性相关性，而互信息则考虑了变量间的独立性。互信息为零意味着变量独立，互相关系数为±1意味着完全相关。此外，文章引入了Λ(X,Y)和DMI(X,Y)，用于刻画非线性关系，并指出互信息在分析非线性动力学变化中的作用。
主要阐述互相关系数和互信息的区别和联系，先说结论：
-
对于高斯分布，两者是等价的，且存在转换公式，当 X X X与 Y Y Y互相关系数为零时，两者相互独立，且互信息为零；当互相关系数为 ± 1 \pm1 ±1时，两者完全相关且互信息为无穷大，转换公式：
I ( X , Y ) = − 1 2 log ( 1 − r 2 ) I(X,Y)=-\frac{1}{2}\log(1-r^2) I(X,Y)=−21log(1−r2) -
一般情形，互相关系数只是反应了两者之间的线性相关关系，而互信息则直接从概率分布角度考虑变量之间的相互独立性，相互独立一定不相关，不相关不一定相互独立
互相关系数
互相关系数是研究变量之间 线性相关 程度的量，定义公式如下：
r ( X , Y ) = C o v ( X , Y ) V a r [ X ] V a r [ Y ] r(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var[X]Var[Y]}} r(X,Y)=Var[X]Var[Y]Cov(X,Y)
其中： C o v ( X , Y ) Cov(X,Y) Cov(X,Y)为 X X X与 Y Y Y之间的协方差， V a r [ X ] Var[X] Var[X]为 X X X的方差， V a r [ Y ] Var[Y] Var[Y]为Y的方差。
- C o v ( X , Y ) = E [ ( X − E [ X ] ) ( Y − E ( Y ) ) ] = E [ X Y ] − E [ X ] E [ Y ] Cov(X,Y)=E[(X-E[X])(Y-E(Y))]=E[XY]-E[X]E[Y] Cov(X,Y)=E[(X−E[X])(Y−E(Y))]=E[XY]−E[X]E[Y]
- V a r [ X ] = E [ ( X − E [ X ] ) 2 ] = E [ X 2 ] − E [ X ] 2 Var[X]=E[(X-E[X])^2]=E[X^2]-E[X]^2 Var[X]=E[(X−E[X])2]=E[X2]−E[X]2
互相关系数的基本性质如下：
-
∣ r ( X , Y ) ∣ ≤ 1 |r(X,Y)|\leq 1 ∣r(X,Y)
最低0.47元/天 解锁文章
扫一扫
2010
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
