[数据分析][评价方法]打分式评价-信息熵理论与熵权法

最新推荐文章于 2024-08-06 14:00:46 发布

转载

最新推荐文章于 2024-08-06 14:00:46 发布 · 4.2k 阅读

8 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/-oreo/p/10328465.html

文章标签：

#python

本文介绍了信息熵的概念及其在评价系统中的作用，详细阐述了熵权法的赋权步骤，包括数据标准化、计算信息熵及确定指标权重。通过一个医院科室护理水平评价的实例，展示了熵权法如何进行赋权和计算，帮助更准确地评估不同指标的贡献。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言:

信息熵是一种用于衡量系统内部信息量的度量。在信息论中，信息是系统有序程度的一种度量。

信息是确定性的增加，不确定性的减少（香农定理）。而信息熵是系统无序程度的一种度量，是系统不确定性的量度。两者绝对值相等，但符号相反。一个系统的信息熵越小，该系统所含的信息量越大。

信息熵被广泛用于计算机编码，通信理论，博弈论等与“信息量”和“不确定性”相关的理论模型中。

熵权法就是一个通过信息熵理论确定系统中各指标权值的赋值方法，能够较为精确客观地判断系统中各指标对总评价的贡献大小。

信息熵的概念

　　信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

　　直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

　　信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

　　信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。

　　Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

信息熵具有以下特点：

• 单调性，即发生概率越高的事件，其所携带的信息熵越低。极端案例就是“太阳从东方升起”，因为为确定事件，所以不携带任何信息量。从信息论的角度，认为这句话没有消除任何不确定性。

• 非负性，即信息熵不能为负。这个很好理解，因为负的信息，即你得知了某个信息后，却增加了不确定性是不合逻辑

• 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。

熵权法介绍

熵最先由香农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。

熵权法的基本思路是根据指标变异性的大小来确定客观权重。

　熵权法相对于其他打分评价模型来说，具有精确客观的优点。基于信息熵所计算得出的权重能够较为精确地反应不同指标间的差别。但是相对应的，由于该模型的本质是用有限个决策样本去“估计”指标的信息熵，在样本量过少的情况下，基于熵权法所计算得出的权重则有可能出现较大误差。一般来讲，样本决策数必须大于等于指标数。

　　一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信息熵越大，表明指标值得变异程度越小，提供的信息量也越少，在综合评价中所起到的作用也越小，其权重也就越小。