大白机器人的博客

香农定义的信息熵的计算公式如下：            ​      其中X表示随机变量，随机变量的取值为（x1,x2,…,xn）,p(xi))表示事件xi发生的概率，且有∑p(xi)=1.信息熵的单位为bit。​      首先定义时间xi的信息量为其发生概率对数的负数，记为I(xi)，有：              I(xi)=−log(p(xi))​      由该定义可得，H...

1.信息熵的计算公式              其中X表示随机变量，随机变量的取值为（x1,x2,…,xn）,p(xi))表示事件xi发生的概率，且有∑p(xi)=1.信息熵的单位为bit。2.香农公式：注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。3.PCA算法对于满足哪种样本分布的数据有效？主成分分析(PrincipalComponentAnalys...

　　在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。　　　　在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自...