逻辑回归原理与sklearn实现

最新推荐文章于 2025-09-19 11:14:30 发布

原创

最新推荐文章于 2025-09-19 11:14:30 发布 · 608 阅读

0 ·

CC 4.0 BY-SA版权

本文深入解析逻辑回归在广告点击、医疗诊断等场景的应用，介绍了其工作原理、sigmoid激活函数、对数似然损失函数，以及l1/l2正则化、API使用和实例演示。涵盖了分类评估方法如混淆矩阵、精度等，并探讨了ROC曲线和AUC评估指标。

一、逻辑回归介绍

1、应用场景

广告点击率、是否为垃圾邮件、是否患病、金融诈骗、虚假账号

2、逻辑回归原理

输入：回归函数
输出：类别
实质：解决的是分类问题

2.1 输入

$h(w) = w_1x_1 + w_2x_2+ ... + b$

2.2激活函数

sigmoid函数。回归的结果输入到sigmoid函数中。输入的结果：[0, 1]区间中的一个概率值，阈值默认为0.5。

${\rm{g}}({\theta ^T}x) = \frac{1}{ {1 + {e^{ - {\theta ^T}x}}}}$

在这里插入图片描述

3、损失与优化

3.1 损失（对数似然损失）

$cost({h_\theta }(x),y) = \left\{ \begin{array}{l} -\log ({h_\theta }(x)){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} if{\kern 1pt} y = 1\\ -\log (1 - {h_\theta }(x)){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} if{\kern 1pt} y = 0 \end{array} \right.$