前言
最近在读几篇华为杯的优秀论文，都是关于数据预测相关的，准确来说是时间序列预测，在数据处理部分发现了一个有趣的内容“信息熵”，之前在周志华老师的西瓜书上决策树剪枝部分看到过，在数据降维的部分看到还是第一次，在另一篇文章中也用到了信息增益这个东西，两篇文章我都会放在参考中以便感兴趣的伙伴查看。
信息熵与信息增益
这里提到的都是相对连续的数据，并不是特征是类别的频率，具体可以参考其他文章。这一部分我就完全copy于论文中：“信息熵”理论：克劳德·艾尔伍德·香农（Claude Elwood Shannon）于 1948 年提出了“信息熵”理论。一般来说，某个指标的信息熵越小，计算出来的信息熵权重也就越大，相应提供的信息量越多，其在综合模型的重要程度也越大；相反，某个指标的信息越大，其所占信息权重则越小，提供的信息量也越少，在综合模型中所起到的作用也越小。其中，对于某项指标的一组数据，其信息熵权重的计算方式如下所示： p i j = Y i j / ∑ i = 1 n Y i j E j = − ln − 1 ( n ) ∑ i = 1 n p i j ln p i j W j = 1 − E j n − ∑ i = 1 n E i ( j = 1 , 2 , … , n ) p_{ij}=Y_{ij}/\sum_{i=1}^{n}Y_{ij}\\E_{j}=-\ln^{-1}(n)\sum_{i=1}^{n}p_{ij}\ln p_{ij}\\W_{j}=\frac{1-E_{j}}{n-\sum_{i=1}^{n}E_{i}}(j=1,2,\ldots,n) pij=Yij/i=1∑
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
