ThisWhoIam的博客

原创 对最大熵模型的一些理解

一、最大熵原理 概念：对于随机变量X，其概率分布为P(X)，一般在约束条件下会有无数P(X)存在。最大熵原理就是在所有符合约束条件的P(X)中，熵最大的模型即为最优模型。 二、最大熵模型 最大熵模型，就是基于最大熵原理的分类模型。李航《统计学习方法》中对最大熵模型的描述如下： 问题1：为什么是条件熵？ 因为我们需要的是一个分类模型，也就是对于样本x，模型返回其对应的类别y，即模型应该...