15、逻辑回归与最大熵模型解读

逻辑回归与最大熵模型解读

1. 逻辑回归模型

1.1 逻辑分布

逻辑分布的概率密度函数和分布函数的图形是 S 形曲线（Sigmoid 曲线）。该曲线以点((\mu, \frac{1}{2}))为中心对称，满足(F(-x + \mu) - \frac{1}{2} = -F(x + \mu) + \frac{1}{2})。曲线在中心附近增长较快，两端增长较慢，形状参数(\gamma)的值越小，曲线在中心附近增长越快。

1.2 二项逻辑回归模型

二项逻辑回归模型是一种由条件概率分布(P(Y|X))表示的分类模型，其形式为参数化的逻辑分布。其中，随机变量(X)是实数，随机变量(Y)取值为 1 或 0，通过监督学习来估计模型参数。

二项逻辑回归模型的条件概率分布如下：
- (P(Y = 1|x) = \frac{\exp(w \cdot x + b)}{1 + \exp(w \cdot x + b)})
- (P(Y = 0|x) = \frac{1}{1 + \exp(w \cdot x + b)})

这里，(x \in R^n)是输入，(Y \in {0, 1})是输出，(w \in R^n)和(b \in R^n)是参数，(w)称为权重向量，(b)称为偏置，(w \cdot x)是(w)和(x)的内积。

对于给定的输入实例(x)，可以根据上述公式计算(P(Y = 1|x))和(P(Y = 0|x))。逻辑回归比较这两个条件概率值的大小，并将实例(x)分配到概率值较大的类别中。

为了方便，有时会对权重向量和输入向量进行扩展，仍记为(w)和(x)，即(w = (