21、逻辑回归与梯度下降优化详解

逻辑回归与梯度下降优化详解

1. 逻辑回归基础

逻辑回归在处理二分类问题时表现出色。以药物剂量与死亡率的关系为例，当药物剂量（用 $x$ 表示）较低时，死亡率接近 0；随着剂量增加，死亡率上升；当剂量较高时，死亡率达到 1。Berkson 利用剂量 $x$ 这一特征来估计死亡率，并得出概率模型：
$$P(y = 1|x) = \frac{1}{1 + e^{-w_0 - w_1x}}$$
其中，$y$ 表示类别，存活标记为 0，死亡标记为 1；$(w_0, w_1)$ 是权重系数，通过最大似然法进行拟合。

基于此，对于任意维度的特征向量 $\mathbf{x}$，可得到一般概率模型：
$$P(y = 1|\mathbf{x}) = \frac{1}{1 + e^{-\mathbf{w} \cdot \mathbf{x}}}$$
这里的 $\mathbf{w}$ 是权重向量。由于只有两个类别且它们的概率之和为 1，所以有：
$$P(y = 0|\mathbf{x}) = \frac{e^{-\mathbf{w} \cdot \mathbf{x}}}{1 + e^{-\mathbf{w} \cdot \mathbf{x}}}$$
这些概率在实际应用中非常有用。此外，与优势比的对数相对应的 logit 变换：
$$\ln \frac{P(y = 1|\mathbf{x})}{P(y = 0|\mathbf{x})} = \ln \frac{P(y = 1|\mathbf{x})}{1 - P(y = 1|\mathbf{x})} = \mathbf{w} \cdot \mathbf{x}$$
也常用于将数据拟合到直线或超平面。