7、概率：单变量模型解读

概率：单变量模型解读

1. 逻辑回归基础

逻辑回归在处理分类问题时十分重要。首先，我们引入了sigmoid函数，它将整个实数域映射到[0, 1]区间，这对于输出能被解释为概率至关重要。sigmoid函数可以看作是heaviside阶跃函数的“软”版本，heaviside阶跃函数定义为：
[H(a) \triangleq I (a > 0)]

将sigmoid函数的定义代入相关方程，我们得到：
[p(y = 1|x, \theta) = \frac{1}{1 + e^{-a}} = \frac{e^{a}}{1 + e^{a}} = \sigma(a)]
[p(y = 0|x, \theta) = 1 - \frac{1}{1 + e^{-a}} = \frac{e^{-a}}{1 + e^{-a}} = \frac{1}{1 + e^{a}} = \sigma(-a)]

其中，(a)等于对数几率(\log(\frac{p}{1 - p}))，这里(p = p(y = 1|x; \theta))。逻辑函数（即sigmoid函数）将对数几率(a)映射到(p)：
[p = \text{logistic}(a) = \sigma(a) \triangleq \frac{1}{1 + e^{-a}} = \frac{e^{a}}{1 + e^{a}}]

其反函数称为logit函数，将(p)映射到对数几率(a)：
[a = \text{logit}(p) = \sigma^{-1}(p) \triangleq \log(\frac{p}{1 - p})]

以下是这些函数的一些有用性质总结：