逻辑回归

最新推荐文章于 2024-11-21 16:37:27 发布

woshi541979210

最新推荐文章于 2024-11-21 16:37:27 发布

阅读量299

点赞数

CC 4.0 BY-SA版权

分类专栏： machine learning

本文链接：https://blog.youkuaiyun.com/woshi541979210/article/details/70143306

machine learning 专栏收录该内容

2 篇文章

订阅专栏

本文探讨了最大熵原理如何赋予Logistic回归一个坚实的数学基础。通过最大熵原理，我们能够理解为何在某些假设下，如伯努利分布及线性模型的条件下，Sigmoid函数成为最优选择。此外，文章还深入介绍了指数族模型如何应用于多分类问题。

sigmoid，或者说exponential family具有的最佳性质，即maximum entropy的性质。
虽然不清楚历史上孰先孰后，但这并不妨碍maximum entropy给了logistic regression一个很好的数学解释。

为什么maximum entropy好呢？entropy翻译过来就是熵，所以maximum entropy也就是最大熵。熵原本是information theory中的概念，用在概率分布上可以表示这个分布中所包含的不确定度，熵越大不确定度越大。所以大家可以想象到，均匀分布熵最大，因为基本新数据是任何值的概率都均等。

而我们现在关心的是，给定某些假设之后，熵最大的分布。也就是说这个分布应该在满足我假设的前提下越均匀越好。比如大家熟知的正态分布，正是假设已知mean和variance后熵最大的分布。

回过来看logistic regression，这里假设了什么呢？首先，我们在建模预测 Y|X，并认为 Y|X 服从bernoulli distribution，所以我们只需要知道 P(Y|X)；其次我们需要一个线性模型，所以 P(Y|X) = f(wx)。接下来我们就只需要知道 f 是什么就行了。而我们可以通过最大熵原则推出的这个 f，就是sigmoid。

考虑任意多类（不仅是两类）的分类问题。

Exponential model 的形式是这样的：
假设第i个特征对第k类的贡献是 $w_{ki}$ ，则数据点 $(x_1, \ldots, x_n)$ 属于第k类的概率正比于 $\exp(w_{k1}x_1 + \ldots + w_{kn}x_n)$ 。（省略bias）