数学建模笔记——熵权法(客观赋权法)

熵权法(客观赋权法)

1. 基本概念

熵权法,物理学名词,按照信息论基本原理的解释,信息是系统有序程度的一个度量,熵是系统无序程度的一个度量;根据信息熵的定义,对于某项指标,可以用熵值来判断某个指标的离散程度,其信息熵值越小,指标的离散程度越大,该指标对综合评价的影响(即权重)就越大,如果某项指标的值全部相等,则该指标在综合评价中不起作用。因此,可利用信息熵这个工具,计算出各个指标的权重,为多指标综合评价提供依据。

• 熵权法是一种客观的赋权方法,它可以靠数据本身得出权重。
• 依据的原理:指标的变异程度越小,所反映的信息量也越少,其对应的权值也应该越低。

另一种表述：越有可能发生的事情，信息量越少。越不可能发生的事情，信息量就越多。其中我们认为 概率 就是衡量事情发生的可能性大小的指标。

那么把 信息量 用字母 $I$表示，概率用$P$表示，那么我们可以将它们建立一个函数关系：

那么，假设 x 表示事件 X 可能发生的某种情况，p(x)表示这种情况发生的概率情况如上图所示，该图像可以用对数函数进行拟合，那
么最终我们可以定义：$I(x)=-\ln (p(x))$,因为$0\le p(x)\le 1$,所以$I(x)\ge 0$。

信息熵的定义

假设 x 表示事件 X 可能发生的某种情况，p(x) 表示这种情况发生的概率我们可以定义：$I(x)=-\ln (p(x))$ ,因为$0\le p(x)\le 1$ ,
所以$I(x)\ge 0$。如果事件 X 可能发生的情况分别为：$x_1,x_2,\cdots ,x_n$ ,那么我们可以定义事件 $X$ 的信息熵为：
$$H(X)=\sum _{i=1}^n\left[p(x_i)I(x_i)\right]=-\sum _{i=1}^n\left[p(x_i)\ln (p(x_i))\right]$$

那么从上面的公式可以看出，信息上的本质就是对信息量的期望值。

可以证明的是：$p(x_1)=p(x_1)=\cdots =p(x_n)=1/n$时，$H(x)$取最大值，此时$H(x)=\ln (n)$。(n表示事件发生情况的总数)

2. 基本步骤

熵权法的计算步骤大致分为以下三步：

1. 数据标准化

   假设有$n$个要评价的对象，$m$个评价指标(已经正向化了)构成的正向化矩阵如下：
   X = [ x 11