18、深入理解逻辑回归：原理、变体与实际应用

深入理解逻辑回归：原理、变体与实际应用

1. 逻辑回归的几何直觉

逻辑回归利用 sigmoid 函数来分离两个类别，sigmoid 函数也被称为 logit 函数，其表达式为：
[
\sigma(z) = \frac{1}{1 + e^{-z}}
]
sigmoid 函数的值域在 0 到 1 之间，其形状类似字母“S”。假设函数或阈值 (h_{\theta}(x)) 设定为 0.5。如果 (h_{\theta}(x) \geq 0.5)，则预测输出标签 (y) 为 1；如果 (h_{\theta}(x) < 0.5)，则预测输出标签 (y) 为 0。

对于二元分类问题，假设一个类别为 0，另一个类别为 1，预测概率的公式如下：
[
P(Y = 0|X) = \frac{1}{1 + \exp(\sum_{i} \beta_{i}x_{i} + \beta_{0})}
]
[
P(Y = 1|X) = \frac{\exp(\sum_{i} \beta_{i}x_{i} + \beta_{0})}{1 + \exp(\sum_{i} \beta_{i}x_{i} + \beta_{0})}
]

下面通过一个简单的例子来理解逻辑回归。假设要根据年龄和吸烟习惯判断一个人是否患有肺部疾病。设 (D) 表示是否患有肺部疾病（1 表示是，0 表示否），(x_1) 表示年龄（连续值），(x_2) 表示吸烟习惯（1 表示是，0 表示否），则：
[
P(D = 1|age, smokinghabit) = \frac{1}{1 + e^{-(\beta_{0} + \bet