逻辑回归

最新推荐文章于 2023-10-13 16:58:48 发布

Shingle_

最新推荐文章于 2023-10-13 16:58:48 发布

阅读量1.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习逻辑回归

本文链接：https://blog.youkuaiyun.com/Shingle_/article/details/81953480

机器学习专栏收录该内容

48 篇文章

订阅专栏

逻辑回归是一种判别模型，常用于二分类问题，通过sigmoid函数将连续值映射到(0,1)区间，表示概率。文章介绍了逻辑回归的线性等式、损失函数、梯度下降优化算法，并探讨了多项逻辑回归在多分类问题中的应用。此外，还讨论了模型参数如C（正则化强度）和penalty（正则化类型）的选择，以及在实际中的应用。" 80895786,7648061,Python循环详解：for、while与break、continue,"['Python编程', '循环结构', '控制流', '数据类型', '编程基础']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

逻辑回归（Logistic Regression）

判别模型：我们只需要学习P(y|x)。

让步比（odds ratio）：
假设一个特征有0.9的概率属于类别1，P(y=1)=0.9。那让步比为：P(y=1)/P(y=0) = 0.9/0.1 = 9。让步比范围0到正无穷。取对数后将所有0到1之间的概率映射到负无穷到正无穷，更高的概率对应于更高的让步比对数。

线性等式：

y i = w 0 + w 1 x i

$y_i=w_0+w_1x_i$

等式替换（用p替换y）：

l o g (p ( y = 1 | x ) p ( y = 0 | x )) = l o g (p i 1 - p i) = w 0 + w 1 x i

$log(\frac{p(y=1|x)}{p(y=0|x)})=log(\frac{p_i}{1-p_i})=w_0+w_1x_i$

求解pi：

p i = 1 1 + e - ( w 0 + w 1 x i )

$p_i=\frac{1}{1+e^{-(w_0+w_1x_i)}}$

Binary case:

p (y = 1 | x) = e w 0 + \sum i w i x i 1 + e w 0 + \sum i w i x i

$p(y=1|x)=\frac{e^{w_0+\sum_i{w_ix_i}}}{1+e^{w_0+\sum_i{w_ix_i}}}$

p (y = 0 | x) = 1 1 + e w 0 + \sum i w i x i

$p(y=0|x)=\frac{1}{1+e^{w_0+\sum_i{w_ix_i}}}$

sigmoid函数：

y = 1 1 + e - z

$y=\frac{1}{1+e^{-z}}$

损失函数：

L (w) = \sum i = 1 N [y i l o g (p (y = 1 | x)) + (1 - y i) l o g (p (y = 0 | x))]

$L(w) = \sum_{i=1}^N[y_ilog(p(y=1|x)) + (1-y_i)log(p(y=0|x))]$

优化算法

梯度下降算法：

w : = w - α \nabla w f (w)

$w := w - \alpha \nabla_w f(w)$

b : = b - α \nabla b f (b)

$b := b - \alpha \nabla_b f(b)$

特征：

对于逻辑回归，我们可以通过已经掌握的系数（clf.coef_）直接就能获知这个特征的影响力。一个特征的系数越高，就在模型预测过程中的作用越大；负值系数告诉我们对负类的贡献度。

多项逻辑斯蒂回归

将LR泛化到多分类。

Multinomial case:

p (y = k | x) = e ( w 0 + w k x ) 1 + \sum K - 1 k = 1 e - ( w 0 + w k x ), k = 1, 2, . . ., K - 1

$p(y=k|x)=\frac{e^{(w_0+w_kx)}}{1+\sum_{k=1}^{K-1}{e^{-(w_0+w_kx)}}}, k=1,2,...,K-1$

p (y = K | x) = 1 1 + \sum K - 1 k = 1 e - ( w 0 + w k x )

$p(y=K|x)=\frac{1}{1+\sum_{k=1}^{K-1}{e^{-(w_0+w_kx)}}}$

损失函数：

m i n w, c 1 2 w T w + C \sum i = 1 n l o g (e x p (- y i (X T i w + b)) + 1)

${min}_{w,c}\frac{1}{2}w^Tw+C\sum_{i=1}^{n}{log(exp(-y_i(X_i^Tw+b))+1)}$

m i n w, c | | w | | 1 + C \sum i = 1 n l o g (e x p (- y i (X T i w + b)) + 1)

${min}_{w,c}{||w||}_1+C\sum_{i=1}^{n}log\left(exp\left(-y_i\left(X_i^Tw+b\right)\right)+1\right)$

应用

from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(X, y)

重要参数：

C：Inverse of regularization strength; must be a positive float. Like in support vector machines, smaller values specify stronger regularization.
penalty : str, ‘l1’ or ‘l2’, default: ‘l2’

小结

Given this model formulation, we want to learn parametes {c_i} that maximise the conditional likehood of the data according to the model.

Due to the softmax function we only construct a classifier, but learn probablity distributions over classifications.

These are many ways to chose weights {c_i}:

Percptron: Find misclassified examples and move weights in the direction of their correct class
Margin-Based: Methods such as Support Vector Machines can be used for learning weights
Logistic Regression: Directly maximise the conditional log-likelihood via gradient descent.

《Building Machine Learning Systems with Python》

scikit-learn.org/stable/modules/linear_model.html#logistic-regression

http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

《统计学习方法》