信息熵(Information Entropy)及其在电商搜索领域中的应用

信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。

计算公式

给定的样本集X的信息熵的公式：
$$entropy=-\sum _{i=1}^C{p}_{i}lo{g}_2(p_i)$$

参数的含义：
C：样本集X的分类数。

pi：X中第i类元素出现的概率

信息熵越大表明样本集X分类越分散，信息熵越小则表明样本集X分类越集中。当X中C个分类出现的概率一样大时（都是$1/C$），信息熵取最大值$lo{g}_2(C)$。当X只有一个分类时，信息熵取最小值0。

电商搜索领域的应用：

商品类目下的品牌敏感度。（用户行为品牌越集中，熵越小，品牌敏感度越高）

用户搜索query的集中度。（用户query越集中，熵越小，说明搜索流量越聚集）

others:

相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。