qq_41503931的博客

原创 自然语言处理——金庸小说的信息熵计算

自然语言处理——金庸小说的信息熵计算 1.实验目的 通过计算所提供的数据库中的金庸小说的信息熵，熟悉自然语言处理的方法与过程。 2.实验内容 2.1信息熵 1948年，为了解决信息量化的问题，香农从热力学中借用了热熵的概念提出了“信息熵”的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。 H(X)=∑x∈χp(x)logp(x) H(X)=\sum_{x∈χ} p(x)logp(x) H(X)=x∈χ∑​p(x)logp(x) 信息论之父克劳德·香农给出的信息熵的三个性