fangsfdavid的博客

机器学习基础 | 互相关系数和互信息异同探讨主要阐述互相关系数和互信息的区别和联系，先说结论：对于高斯分布，两者是等价的，且存在转换公式，当XXX与YYY互相关系数为零时，两者相互独立，且互信息为零；当互相关系数为±1\pm1±1时，两者完全相关且互信息为无穷大，转换公式：I(X,Y)=−12log⁡(1−r2)I(X,Y)=-\frac{1}{2}\log(1-r^2)I(X,Y)=−21​log(1−r2)一般情形，互相关系数只是反应了两者之间的线性相关关系，而互信息则直接从概率分布

信息论估计工具jidt基本使用JIDT基本介绍JIDT是 Java Information Dynamics Toolkit的简称，用于研究复杂系统中信息论相关度量的计算，它是一个基于java的开源工具库，也可以在Matlab、Octave、Python、R、Julia和Clojure中使用；JIDT提供了如下计算工具：信息熵、互信息、转移熵条件互信息、条件转移熵多变量互信息和多变量转移熵信息存储JIDT同时支持离散型数据和连续型数据JIDT提供多种估计算子主页：https:/

信息论基本概念总结一些基本概念，包括自信息、信息熵、联合熵、条件熵、互信息、条件互信息以及交叉熵等等。自信息自信息是对某一事件发生时所带来的信息量做了一个量化。信息是一个比较抽象的概念，一条信息所包含的信息量和它的不确定性有直接的关系，而自信息就是把信息的度量等价于对不确定性减少程度的度量。设XXX是满足概率分布p(x)p(x)p(x)的离散随机变量，其所有可能取值集合构成集合X\mathcal{X}X，则事件{X=x}\{X=x\}{X=x}的自信息的定义如下：I(p(x))=−log⁡(