数学建模之熵权法

熵权法

概述

**熵权法(Entropy Weight Method,EWM)**是一种客观赋权的方法，原理：指标的变异程度越小，所包含的信息量也越小，其对应的权值应该越低（例如，如果对于所有样本而言，某项指标的值都相同，则该指标无参考价值，即信息量为0，权值应为0）。

如何衡量信息量大小？越不可能发生的事件信息量越多，越有可能发生的事情信息量越少。例如一个全校前几名的尖子生小王考上了清华，大家都觉得天经地义，里面没什么信息量；而如果有一天成绩很差的小张考上了清华，让大家很诧异，这里面包含的信息量就很大了。于是我们可以用概率衡量信息量。

信息量用I表示，概率用p表示，设x表示事件X可能发生的某种情况，我们可以建立I和p的函数关系
$$I(x)=-ln(p(x))$$

下面引入信息熵的概念，设事件X可能发生的情况为$x_1、x_2、...、x_n$

则信息熵被定义为
$$H(x)=-\sum _{i=1}^{n}p(x_i)ln(p(x_i))$$
在概率论中我们知道离散型随机变量数学期望的定义为$E(x)={\sum }_{i=1}^n{x}_{i}p(x_i)$​,可以指定信息熵即信息量的数学期望。在热力学中，熵定义一个热力学系统的无序程度，即越无序，熵越大，信息量越小；类比到信息论中，我们可以得出以下结论：

信息熵越大，信息量越小

从数学角度来理解，可以证明，当$p(x_1)=p(x_2)=\cdots =p(x_n)=\frac{1}{n}$时，信息熵取最大值$ln(n)$。对其做出直观解释：当所有可能发生的情况等概率时，表面该过程为完全随机过程，无任何信息量。

结合熵权法的Topsis模型

Step1：对输入矩阵正向化、标准化

正向化在上一节中已详细讨论，标准化可以采用L2正则化。如果正向化后矩阵中有负数，但为了避免标准化后的结果出现负值（后续概率计算不能有负值），也可以采用$x_i^{\prime }=\frac{x_i-x_{min}}{x_{max}-x_{min}}$归一标准化。

Step2:对于每个指标（每一列），用样本值占比表示其概率

$$p_{ij}=\frac{z_{ij}}{{\sum }_{i=1}^n{z}_{ij}}$$

Step3：计算每个指标的信息熵，并计算信息效用值，归一化的得到每个指标的熵权

这里每个指标的信息熵计算公式：
$$e_j=-\frac{1}{ln(n)}\sum _{i=1}^n{p}_{ij}ln(p_{ij})$$
定义信息效用值
$$d_j=1-e_j$$
将信息效用值归一化得到指标熵权
$$W_j=\frac{d_j}{{\sum }_{i=1}^m{d}_j}$$
信息熵越小，信息效用值越大，指标信息量越大，熵权越大