用熵进行连续属性离散化

最新推荐文章于 2024-12-24 16:25:52 发布

原创最新推荐文章于 2024-12-24 16:25:52 发布 · 7.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#data mining

今天在数据挖掘导论上看到了用熵对连续数据进行离散化的方法，基本思想是利用熵的大小来表示划分后数据集的纯度，熵越小，数据纯度越大，得到的离散数据可用性就更高

具体做法是：先把数据集划分为两部分，计算两部分的熵的和，在熵最小的地方划分，然后对熵最大的那部分重复此步骤，直到满足用户需要的数据集个数

附熵的计算公式：

E = Σ-Pi·log2Pi

Pi表示第i类在数据区间中出现的概率，计算多个区间的这个公式求和求最小值

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

liuxf1993

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

离散变量熵计算及matlab应用

wjyxld的博客

06-05

4276

根据熵、联合熵、条件熵、相对熵、互信息等可以计算多属性决策的权重，因此，需要了解各种离散熵的计算。一、信息熵的概念 1948年，香农Claude E. Shannon引入信息（熵），将其定义为离散随机事件的出现概率。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以说，信息熵可以被认为是系统有序化程度的一个度量。（三）条件熵在随机变量X发生的前提下，随机变量Y发生所新带来的熵定义为Y的条件熵，用H(Y|X)表示，用来衡量在已知随机变量X的条件下随机变量Y的不确定性。且有此

贝叶斯分类器+基于熵的离散化算法

12-02

对于numeric类型的数据，基本贝叶斯分类算法并不能直接应用。对于需要分类的数据，首先按照信息熵进行离散化后。之后对于处理过后的数据，使用基本贝叶斯分类算法进行训练和分类。

参与评论您还未登录，请先登录后发表或查看评论

《程序员的第一年》---------- 数据挖掘之数据处理（C#基于熵的离散化算法代码）

程序人生之《程序员的第N年》专栏

12-02

5467

基于熵的离散化可以减少数据量。与迄今为止提到的其他方法不同，基于熵的离散化使用类信息。这使得它更有可能将区间边界（分裂点）定义在准确位置，有助于提高分类的准确性。这里介绍的熵和信息增益度量也用于决策树归纳

基于熵的特征离散化方法

weixin_37942413的博客

12-24

327

请注意，这两种实现方式在某些极端情况下可能需要进一步优化，例如处理数据量极小或分布非常特殊的数据，但对于大多数常见的数据分布，它们应该能有效地进行离散化。这两种实现都可以根据数据的分布特点，在没有目标变量的情况下，将连续型数据划分为多个离散区间，并且可以根据具体需求调整。的值来控制离散化的程度。

一种基于熵的连续属性离散化方法matlab程序,一种基于熵的连续属性离散化算法...

weixin_35512156的博客

04-13

391

Abstract：It is very important to ascertain rationally the number and positions of split points for discretization of continuous variables. To improve the efficiency of unsupervised discretization, an ...

【数据分析】数据预处理—数据离散化、信息熵

我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是

03-22

1592

数据离散化 - **连续数据过于细致，数据之间的关系难以分析** - **划分为离散化的区间，发现数据之间的关联，便于算法处理** 有监督离散化—基于熵的离散化 - 熵用来度量系统的**不确定程度** - 熵是由克劳德·艾尔伍德·香农将热力学的熵，引入到信息论，因此它又被称为香农熵 - 香农提出了信息熵的概念，为信息论和数字通信奠定了基础，被誉为“信息论之父”

一种基于熵的连续属性离散化算法1

08-03

基于熵的连续属性离散化算法，正是利用这一特性，将熵作为评估连续属性分布信息的一个重要工具。传统的无监督离散化方法，例如等宽或等频方法，虽然操作简单方便，但它们有一个共同的缺陷，即通常忽略了数据的内在...

基于相对熵的决策表连续属性离散化算法.docx

04-15

文章《基于相对熵的决策表连续属性离散化算法》主要介绍了一种新的决策表连续属性离散化算法。该算法的核心在于运用相对熵来度量条件属性的重要性，并依此对属性进行排序，进一步考察条件属性的所有断点，通过去除...

电信设备-基于信息熵的连续属性数据无监督离散化方法.zip

09-18

本文将详细探讨标题所提及的“基于信息熵的连续属性数据无监督离散化方法”，这是一种在处理电信设备数据时常用的技术。 离散化，简单来说，就是将连续型的数据转换成离散的类别，以便更好地理解和分析数据。在电信...

连续属性离散化

星之所在

08-07

1万+

离散化技术分类连续属性的离散化方法也可以被称为分箱法，即将一组连续的值根据一定的规则分别放到其术语的集合中。本文介绍了几种监督离散化和非监督离散化的方法。

基于信息熵的粗糙集连续属性多变量离散化算法 (2013年)

05-16

属性离散化能够降低问题的复杂度，得到更加简短、精确且易于理解的规则。针对现有离散化方法在选择断点时没有考虑属性间和属性内断点的互斥性且不能保证保持决策表的不可分辨关系，本研究提出一种新的基于信息熵的...

NaiveScaler数值属性离散化算法的分析与改进

04-08

在机器学习和数据挖掘领域,数值属性离散化是一个重要的研究课题.本文对现有的基于粗糙集理论的数值属性离散化算法进行了较深入的研究,客观地评价它们的优缺点,并在此基础上针对Naive Scaler数值属性离散化算法及其现有的改进算法的不足,提出了一种新的Naive Scaler算法的改进算法,最后通过算法示例验证了该算法的有效性和可行性.

连续型随机变量的熵

彬彬侠的博客

11-20

1315

公式20-2是针对连续型随机变量定义的熵（Entropy）的数学表达式，描述了连续变量的概率密度分布所带来的不确定性。通过积分对所有可能值的信息量进行加权求和，可以衡量分布的复杂性。从熵的定义、公式的构成及意义进行详细解释。

数值熵，连续信号熵

qq_41786778的博客

09-09

290

https://www.researchgate.net/post/How-do-I-calculate-the-entropy-to-data-containing-real-numbers

连续信源的熵与RD

timerring的博客

04-17

1228

率失真的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度Dˉ\bar{D}Dˉ的最小和最大取值问题。由于平均失真度Dˉ\bar{D}Dˉ是非负实数dxiyjdxiyj的数学期望, 因此Dˉ\bar{D}Dˉ也是非负的实数，即Dˉ≥0Dˉ≥0, 故Dˉ\bar{D}Dˉ的下界是 0。允许平均失真度能否达到其下限值0, 与单个符号的失真函数有关。Dmin⁡D_{\min }Dmin和RDmin⁡。

如何计算连续变量的熵

雾隐雾现的至渝博客

04-21

1643

做特征选择时，有时候会用到计算特征的信息熵，可是离散的好计算，但连续的呢？按照把连续变量离散的方法设置阈值点吗？好像比较麻烦，需要排序，计算阈值。没有能自动的方法吗？

计算连续值的熵和互信息

qq_45654781的博客

09-15

906

计算连续值的熵和互信息

在数据集上计算连续随机变量的信息熵和互信息--k-近邻估计方法