【分类算法】逻辑回归超详细讲解

逻辑回归(Logistic Regression)最形象简单、通俗易懂的理解方式 最形象直观的方式理解逻辑回归一、思想由来(买衣服例子)二、结合例子简单推导过程三、与线性回归关系四、实际例子 逻辑回归(Logistic Regression)的目的是分类,最开始是从逻辑分类(即二分类)展开并进一步扩充的,思想来源于线性回归,故名逻辑回归。本文从简单形象的例子出发,解释逻辑回归的思想和推导过程,通俗易懂,只要接触过概率论就能看得明白。 一、思想由来(买衣服例子) ——比如来到商场,看见一件衣服你比较喜欢,你会更仔细打量它,并决定是否购买,你的内心经过 博弈后做出最终方案:买与不买,逻辑 阅读详情

机器学习分类算法——逻辑回归超详细讲解(适合本科/研究生)

逻辑回归是机器学习中最经典的二分类算法,也是工业界和科研中最常用的基线模型之一。尽管名字带“回归”,但它本质是解决分类问题的统计方法,核心优势是简单易解释、计算效率高、能输出概率结果,非常适合算法入门学习。本文会用通俗的语言讲解决策树的核心原理、数学推导、代码实现,还会分析其优缺点和适用场景,适配本科、研究生的学习和科研需求。

一、逻辑回归是什么?通俗理解

1. 核心定位

逻辑回归(Logistic Regression,LR)是一种用于二分类的监督学习算法,核心作用是预测某个事件发生的概率,并根据概率阈值判断样本所属类别。

  • 输出:0~1之间的概率值(比如一个用户点击广告的概率0.8、一封邮件是垃圾邮件的概率0.9);
  • 分类:设定阈值(通常0.5),概率>阈值为正类(1),否则为负类(0)。

2. 为什么需要逻辑回归?

传统线性回归的输出是连续值(比如预测房价、销量),无法直接用于分类问题:

  • 比如用年龄、收入预测用户是否购买产品,结果只能是“买(1)”或“不买(0)”,而非连续数值;
  • 线性回归的输出范围是(−∞,+∞)(-\infty,+\infty)(−∞,+∞),无法直接映射为“概率”(概率必须0~1)。

逻辑回归就是为解决二分类概率预测设计的,它在线性回归的基础上,通过一个函数将连续输出映射到0~1的概率区间,完美适配分类需求。

3. 逻辑回归的工作流程(3步走)

  1. 输入特征:收集影响结果的特征(比如年龄、收入、教育程度,对应机器学习中的特征向量xxx);
  2. 输出概率:通过模型计算事件发生的概率(比如用户购买产品的概率ppp);
  3. 概率转分类:设定阈值(如0.5),概率>0.5归为正类(1),否则归为负类(0)。

生活案例:用“年龄、月消费、浏览时长”预测用户是否会办会员——逻辑回归先计算用户办会员的概率(如0.75),再根据阈值判断“会办会员(1)”。

二、逻辑回归的核心理论基础

逻辑回归的核心思想是:线性模型做特征组合 + Sigmoid函数映射概率 + 极大似然估计训练参数,三步实现从特征到概率的转换,最终完成分类。

1. 第一步:线性模型——特征的线性组合

和线性回归一致,逻辑回归先对输入特征做线性加权组合,得到线性输出zzz,这是后续映射概率的基础。

公式定义

假设样本的特征向量为x=(x1,x2,...,xn)x=(x_1,x_2,...,x_n)x=(x1​,x2​,...,xn​)(包含常数项x0=1x_0=1x0​=1,对应截距项),模型参数为β=(β0,β1,...,βn)\beta=(\beta_0,\beta_1,...,\beta_n)β=(β0​,β1​,...,βn​)(β0\beta_0β0​为截距,β1−βn\beta_1-\beta_nβ1​−βn​为特征系数),则线性组合为:
z=β0+β1x1+β2x2+⋯+βnxn=X⋅βz=\beta_0+\beta_1 x_1+\beta_2 x_2+\cdots+\beta_n x_n=X \cdot \betaz=β0​+β1​x1​+β2​x2​+⋯+βn​xn​=X⋅β

  • XXX:所有样本的特征矩阵(mmm行n+1n+1n+1列,mmm为样本数,nnn为特征数);
  • zzz:线性输出,范围(−∞,+∞)(-\infty,+\infty)(−∞,+∞)。
通俗理解

特征系数βi\beta_iβi​表示该特征对结果的影响程度:

  • βi>0\beta_i>0βi​>0:特征xix_ixi​越大,事件发生的概率越高(比如“浏览时长”系数为正,看的越久,办会员概率越高);
  • βi<0\beta_i<0βi​<0:特征xix_ixi​越大,事件发生的概率越低(比如“负面评价数”系数为负,评价越差,购买概率越低);
  • βi=0\beta_i=0βi​=0:该特征对结果无影响。

2. 第二步:Sigmoid函数——将线性输出映射为概率

Sigmoid函数(也叫逻辑函数)是逻辑回归的核心激活函数,作用是将线性输出zzz(−∞,+∞-\infty,+\infty−∞,+∞)映射为0~1之间的概率值ppp,完美契合概率的定义。

公式定义

p=11+e−z=11+e−(X⋅β)p=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-(X \cdot \beta)}}p=1+e−z1​=1+e−(X⋅β)1​

Sigmoid函数的核心特性
  1. 值域:p∈(0,1)p \in (0,1)p∈(0,1),输出直接作为概率;
  2. 单调性:zzz越大,ppp越大,符合“特征影响程度”的直观逻辑;
  3. 中心点:当z=0z=0z=0时,p=0.5p=0.5p=0.5,这也是默认分类阈值0.5的由来;
  4. 导数特性:p′=p(1−p)p'=p(1-p)p′=p(1−p),后续梯度计算的关键(极大简化求导过程)。
直观理解
  • 当z→+∞z \to +\inftyz→+∞时,e−z→0e^{-z} \to 0e−z→0,p→1p \to 1p→1(事件几乎一定发生);
  • 当z→−∞z \to -\inftyz→−∞时,e−z→+∞e^{-z} \to +\inftye−z→+∞,p→0p \to 0p→0(事件几乎不可能发生);
  • 当z=0z=0z=0时,p=0.5p=0.5p=0.5(事件发生和不发生的概率相等)。

3. 第三步:分类决策——根据概率阈值判断类别

逻辑回归的分类规则非常简单,设定一个概率阈值θ\thetaθ(通常θ=0.5\theta=0.5θ=0.5),对每个样本的概率pip_ipi​做判断:
y^i={1(正类),pi>θ0(负类),pi≤θ \hat{y}_i= \begin{cases} 1 \quad (正类), & p_i > \theta \\ 0 \quad (负类), & p_i \leq \theta \end{cases} y^​i​={1(正类),0(负类),​pi​>θpi​≤θ​

  • 阈值可根据业务需求调整:比如金融风控中,为了减少“漏判风险”,可将阈值调低(如0.3),只要违约概率>0.3就判定为高风险;
  • y^i\hat{y}_iy^​i​:样本iii的预测类别,区别于真实标签yiy_iyi​。

4. 逻辑回归的参数训练——极大似然估计

模型的参数β\betaβ(截距+特征系数)不是人为设定的,而是通过极大似然估计(MLE) 从数据中学习得到,核心目标是:找到一组参数β\betaβ,让模型预测的概率尽可能接近样本的真实标签。

(1)似然函数:衡量参数的合理性

对于样本集{(xi,yi)}i=1m\{(x_i,y_i)\}_{i=1}^m{(xi​,yi​)}i=1m​(yi∈{0,1}y_i \in \{0,1\}yi​∈{0,1}为真实标签),单个样本的概率可统一表示为:
P(yi∣xi;β)=piyi(1−pi)1−yiP(y_i|x_i;\beta)=p_i^{y_i}(1-p_i)^{1-y_i}P(yi​∣xi​;β)=piyi​​(1−pi​)1−yi​

  • 当yi=1y_i=1yi​=1时,P=piP=p_iP=pi​(预测为正类的概率);
  • 当yi=0y_i=0yi​=0时,P=1−piP=1-p_iP=1−pi​(预测为负类的概率)。

似然函数表示所有样本同时出现的联合概率,我们的目标是让这个概率最大化(即参数β\betaβ让真实样本尽可能容易出现),公式为:
L(β)=∏i=1mpiyi(1−pi)1−yi\mathcal{L}(\beta)=\prod_{i=1}^{m} p_{i}^{y_{i}}\left(1-p_{i}\right)^{1-y_{i}}L(β)=i=1∏m​piyi​​(1−pi​)1−yi​

  • 连乘操作在计算中易出现下溢(多个0~1的数相乘,结果趋近于0),因此需要转换为对数似然函数。
(2)对数似然函数:将连乘转连加,简化计算

对数函数是单调递增函数,取对数后不改变原函数的极值点,且能将连乘转为连加,大幅简化计算,对数似然函数为:
logL(β)=∑i=1m[yilogpi+(1−yi)log(1−pi)]log \mathcal{L}(\beta)=\sum_{i=1}^{m}\left[y_{i} log p_{i}+\left(1-y_{i}\right) log \left(1-p_{i}\right)\right]logL(β)=i=1∑m​[yi​logpi​+(1−yi​)log(1−pi​)]

  • 这也是逻辑回归的损失函数(对数损失/交叉熵损失),训练目标为最大化对数似然函数,等价于最小化负的对数似然函数。
(3)梯度上升法:求解最优参数

对数似然函数是凸函数,只有一个全局最大值,可通过梯度上升法(求最大值用上升,求最小值用梯度下降)迭代更新参数,核心是沿着梯度的正方向更新参数,逐步逼近最大值。

第一步:求对数似然函数的梯度

对参数βj\beta_jβj​求偏导(利用Sigmoid的导数特性p′=p(1−p)p'=p(1-p)p′=p(1−p)),最终梯度公式为:
∂logL(β)∂β=∑i=1m(yi−pi)Xi\frac{\partial log \mathcal{L}(\beta)}{\partial \beta}=\sum_{i=1}^{m}\left(y_{i}-p_{i}\right) X_{i}∂β∂logL(β)​=i=1∑m​(yi​−pi​)Xi​

  • 梯度的物理意义:∂logL(β)∂βj>0\frac{\partial log \mathcal{L}(\beta)}{\partial \beta_j}>0∂βj​∂logL(β)​>0时,增大βj\beta_jβj​会让对数似然函数变大;反之则减小βj\beta_jβj​。
第二步:参数更新公式

β←β+α∑i=1m(yi−pi)Xi\beta \leftarrow \beta+\alpha \sum_{i=1}^{m}\left(y_{i}-p_{i}\right) X_{i}β←β+αi=1∑m​(yi​−pi​)Xi​

  • α\alphaα:学习率(步长),控制每次参数更新的幅度,过大会震荡不收敛,过小会训练过慢;
  • 迭代更新:重复计算梯度、更新参数,直到梯度趋近于0(收敛)或达到预设迭代次数。

5. 逻辑回归的多分类扩展——多项逻辑回归

上述内容都是二分类逻辑回归(标签只有0/1),对于多分类问题(如手写数字识别:0-9共10类),可扩展为多项逻辑回归,核心变化是:

  1. 用Softmax函数替代Sigmoid函数,将线性输出映射为多个类别的概率(概率和为1);
  2. 损失函数改为多分类交叉熵损失;
  3. 最终选择概率最大的类别作为预测结果。

Softmax函数公式(针对kkk分类):
pi(k)=ezik∑j=1kezijp_i(k)=\frac{e^{z_{ik}}}{\sum_{j=1}^k e^{z_{ij}}}pi​(k)=∑j=1k​ezij​ezik​​

  • pi(k)p_i(k)pi​(k):样本iii属于第kkk类的概率;
  • zikz_{ik}zik​:样本iii对应第kkk类的线性输出。

三、逻辑回归的完整算法流程

逻辑回归的训练和预测是一个迭代优化的过程,整体流程可分为7步,步骤清晰、计算简单,这也是其效率高的原因:

  1. 参数初始化:将模型参数β\betaβ设为0或随机小值,设定学习率α\alphaα、最大迭代次数;
  2. 前向传播:对每个样本计算线性输出zi=Xi⋅βz_i=X_i \cdot \betazi​=Xi​⋅β,再通过Sigmoid函数得到概率pip_ipi​;
  3. 计算损失:用对数似然函数计算当前模型的损失(负对数似然);
  4. 梯度计算:计算对数似然函数对参数β\betaβ的梯度;
  5. 参数更新:根据梯度上升法更新参数β\betaβ;
  6. 迭代收敛:重复步骤2-5,直到梯度趋近于0、损失不再下降或达到最大迭代次数,停止训练;
  7. 分类预测:用训练好的模型对新样本计算概率ppp,根据阈值判断类别,输出预测结果。

四、逻辑回归实战:Python实现信用卡欺诈检测

信用卡欺诈检测是逻辑回归的经典工业场景,该场景的特点是类别极度不平衡(欺诈交易占比<0.2%)、需要概率输出、对可解释性有要求,非常适合用逻辑回归做基线模型。

本次实战包含数据加载、预处理、类别不平衡处理、模型训练、评估、超参数调优全流程,代码可直接运行,注释清晰。

1. 实战目标

通过信用卡交易的28个匿名特征、交易时间、交易金额,预测该交易是否为欺诈(1=欺诈,0=正常),核心难点是处理类别不平衡。

2. 所需Python库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 数据划分、超参数调优
from sklearn.model_selection import train_test_split, GridSearchCV
# 数据标准化、逻辑回归模型
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
# 模型评估指标
from sklearn.metrics import confusion_matrix, classification_report, roc_curve, auc
# 处理类别不平衡:SMOTE过采样
from imblearn.over_sampling import SMOTE
# 忽略无关警告
import warnings
warnings.filterwarnings("ignore")

注意:逻辑回归需要对数据做标准化(特征缩放),因为线性模型对特征的量纲敏感,标准化后能提升训练效率和模型性能。

3. 数据加载与探索

数据集包含284807笔交易,其中仅492笔欺诈交易,正类(欺诈)占比仅0.17%,类别极度不平衡。

# 加载数据集(公众号「深夜努力写Python」后台回复「数据集」获取)
df = pd.read_csv('creditcard.csv')
# 查看数据集基本信息
print(df.info())  # 查看特征类型、缺失值
print(df.describe())  # 查看统计特征
print(df['Class'].value_counts())  # 查看类别分布(0:正常,1:欺诈)

4. 数据预处理

逻辑回归的核心预处理步骤是特征标准化,同时划分训练集和测试集(分层抽样,保证测试集类别分布与训练集一致)。

# 1. 分离特征和标签
X = df.drop('Class', axis=1)
y = df['Class']

# 2. 分层划分训练集(80%)和测试集(20%),保证类别分布一致
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 3. 特征标准化(均值为0,方差为1)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)  # 训练集拟合+转换
X_test_scaled = scaler.transform(X_test)        # 测试集仅转换(避免数据泄露)

5. 处理类别不平衡问题——SMOTE过采样

类别不平衡时,模型会偏向于多数类(正常交易),导致欺诈交易的识别率极低,本次使用SMOTE过采样(合成少数类样本),平衡训练集的类别分布。

# 初始化SMOTE,随机种子保证结果可复现
smote = SMOTE(random_state=42)
# 对训练集做过采样,生成合成的欺诈样本
X_train_smote, y_train_smote = smote.fit_resample(X_train_scaled, y_train)
# 查看处理后的类别分布(正负样本数量相等)
print(pd.Series(y_train_smote).value_counts())

6. 构建逻辑回归模型并训练

# 初始化逻辑回归模型,max_iter增大迭代次数保证收敛
model = LogisticRegression(random_state=42, max_iter=1000)
# 用平衡后的训练集训练模型
model.fit(X_train_smote, y_train_smote)

7. 模型评估

信用卡欺诈检测不适合用准确率评估(多数类占比极高,准确率接近100%但无意义),核心评估指标为:混淆矩阵、精确率/召回率/F1值、ROC曲线/AUC。

# 1. 预测:输出类别和正类概率
y_pred = model.predict(X_test_scaled)  # 预测类别(0/1)
y_pred_proba = model.predict_proba(X_test_scaled)[:, 1]  # 预测欺诈的概率

# 2. 混淆矩阵:直观看出真阳性、假阳性、真阴性、假阴性
conf_matrix = confusion_matrix(y_test, y_pred)
print('混淆矩阵:\n', conf_matrix)

# 3. 分类报告:精确率、召回率、F1值
print('分类报告:\n', classification_report(y_test, y_pred))

# 4. ROC曲线+AUC:评估模型的区分能力(AUC越接近1,性能越好)
fpr, tpr, thresholds = roc_curve(y_test, y_pred_proba)
roc_auc = auc(fpr, tpr)
print('AUC值:', roc_auc)

# 可视化ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='blue', label=f'AUC = {roc_auc:.2f}')
plt.plot([0, 1], [0, 1], color='red', linestyle='--')  # 随机猜测的参考线
plt.xlabel('False Positive Rate(假阳性率)')
plt.ylabel('True Positive Rate(真阳性率)')
plt.title('Receiver Operating Characteristic (ROC) Curve')
plt.legend(loc='lower right')
plt.show()

结果说明:基础模型的AUC约0.97,说明模型对欺诈和正常交易有很强的区分能力。

8. 超参数调优——网格搜索

逻辑回归的核心超参数是正则化参数C(C越小,正则化越强,防止过拟合)和求解器solver,用网格搜索(GridSearchCV) 选择最优参数,提升模型性能。

# 1. 定义参数网格
param_grid = {
    'C': [0.1, 1, 10, 100],  # 正则化参数,倒数为正则化强度
    'solver': ['lbfgs', 'liblinear']  # 求解器
}

# 2. 初始化网格搜索,5折交叉验证,以AUC为评分标准
grid = GridSearchCV(LogisticRegression(random_state=42, max_iter=1000), 
                    param_grid, cv=5, scoring='roc_auc')
# 3. 训练并搜索最优参数
grid.fit(X_train_smote, y_train_smote)

# 4. 输出最佳参数
print('最佳超参数:', grid.best_params_)

# 5. 用最佳参数训练模型并评估
best_model = grid.best_estimator_
best_model.fit(X_train_smote, y_train_smote)
# 预测
y_pred_best = best_model.predict(X_test_scaled)
y_pred_proba_best = best_model.predict_proba(X_test_scaled)[:, 1]
# 评估
conf_matrix_best = confusion_matrix(y_test, y_pred_best)
print('优化后混淆矩阵:\n', conf_matrix_best)
print('优化后分类报告:\n', classification_report(y_test, y_pred_best))
# 优化后ROC曲线
fpr_best, tpr_best, thresholds_best = roc_curve(y_test, y_pred_proba_best)
roc_auc_best = auc(fpr_best, tpr_best)
print('优化后AUC值:', roc_auc_best)

# 可视化优化后ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr_best, tpr_best, color='blue', label=f'AUC = {roc_auc_best:.2f}')
plt.plot([0, 1], [0, 1], color='red', linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve (Optimized)')
plt.legend(loc='lower right')
plt.show()

结果说明:超参数调优后,AUC会小幅提升(约0.98),模型的泛化能力更强。

9. 逻辑回归3D可视化(附代码)

通过3D可视化可以直观看到逻辑回归的决策边界和概率表面,理解特征与概率的关系,代码如下:

import numpy as np
import plotly.graph_objects as go
from plotly.subplots import make_subplots
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression

# 生成模拟二分类数据(2个特征,线性可分)
np.random.seed(0)
X, y = make_classification(n_samples=100, n_features=2, n_informative=2, 
                           n_redundant=0, n_clusters_per_class=1)
# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X, y)

# 创建网格,用于绘制决策边界和概率表面
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100))
Z = model.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:, 1]
Z = Z.reshape(xx.shape)

# 创建3D子图(数据点+决策边界 | 概率表面)
fig = make_subplots(
    rows=1, cols=2,
    specs=[[{'type': 'scatter3d'}, {'type': 'scatter3d'}]],
    subplot_titles=('3D 数据点及决策边界', '3D 概率表面')
)

# 第一个子图:3D数据点 + 决策边界
fig.add_trace(
    go.Scatter3d(x=X[:, 0], y=X[:, 1], z=y, mode='markers',
                 marker=dict(size=5, color=y, colorscale='Viridis', opacity=0.8)),
    row=1, col=1
)
fig.add_trace(
    go.Surface(x=xx, y=yy, z=Z, showscale=False, opacity=0.5, colorscale='Viridis'),
    row=1, col=1
)

# 第二个子图:3D概率表面
fig.add_trace(
    go.Surface(x=xx, y=yy, z=Z, showscale=True, colorscale='Viridis'),
    row=1, col=2
)

# 布局设置
fig.update_layout(
    title_text='逻辑回归的三维可视化',
    scene=dict(
        xaxis=dict(title='Feature 1'),
        yaxis=dict(title='Feature 2'),
        zaxis=dict(title='Class Label'),
    ),
    scene2=dict(
        xaxis=dict(title='Feature 1'),
        yaxis=dict(title='Feature 2'),
        zaxis=dict(title='Probability'),
    ),
    height=600,
    width=1200,
)
# 显示可视化结果
fig.show()

可视化效果:

  • 3D数据点:不同颜色代表不同类别,散点分布在特征空间中;
  • 决策边界:概率为0.5的曲面,曲面上方为正类(概率>0.5),下方为负类(概率<0.5);
  • 概率表面:颜色从蓝到黄表示概率从0到1,直观反映特征组合对应的概率大小。

五、逻辑回归的优缺点

逻辑回归是**“简单但强大”的算法,优点突出,缺点也很明显,但其缺点可通过特征工程、采样方法、集成学习**弥补,这也是其经久不衰的原因。

优点(核心优势:简单、高效、可解释)

  1. 极强的可解释性:特征系数βi\beta_iβi​直接反映特征对结果的影响方向和程度,可通过系数做特征重要性分析,适合金融、医疗等需要“解释模型决策”的场景;
  2. 计算效率极高:模型训练和预测的时间复杂度低,适合大规模数据集,训练速度远快于决策树、随机森林等算法;
  3. 输出概率结果:直接输出0~1的概率,而非单纯的类别,可根据业务需求灵活调整阈值,适配不同的业务目标;
  4. 超参数少,易调优:核心超参数仅正则化参数CCC,调优过程简单,无需大量试错;
  5. 对多重共线性有鲁棒性:通过L2正则化(默认)可有效减轻特征多重共线性的影响,无需手动剔除特征;
  6. 作为基线模型的首选:在任何分类任务中,都可先训练逻辑回归作为基线,再通过其他算法做性能提升,对比效果。

缺点(需针对性解决)

  1. 假设特征与目标线性相关:逻辑回归的决策边界是线性的,无法处理非线性特征关系,对非线性数据表现极差;
  2. 对异常值敏感:线性模型对异常值的抗干扰能力弱,异常值会严重影响特征系数的学习,需提前做异常值处理;
  3. 无法处理高维稀疏数据:对文本、图像等高维稀疏数据,逻辑回归的表达能力不足,不如朴素贝叶斯、SVM;
  4. 类别不平衡问题:对极度不平衡的数据,模型会偏向多数类,需通过过采样(SMOTE)、欠采样、类别权重等方法处理;
  5. 需要特征工程:对于非线性数据,需通过特征交叉、多项式特征等工程手段,构造线性关系,否则模型性能极差。

六、逻辑回归与其他经典分类算法的对比

为了方便大家在实际任务中选择合适的算法,将逻辑回归与决策树、随机森林、SVM、KNN、朴素贝叶斯、神经网络做核心对比,从优缺点、适用场景维度分析:

算法核心优点核心缺点最佳适用场景
逻辑回归可解释性强、计算高效、输出概率、超参数少仅能处理线性关系、对异常值敏感二分类基线模型、金融风控、广告点击率预测、需要解释的分类任务
决策树捕捉非线性关系、无需标准化、解释性强易过拟合、稳定性差、偏向支配特征非线性二分类/多分类、中小型数据集、混合类型特征(数值+类别)
随机森林集成学习、抗过拟合、泛化能力强、处理非线性计算复杂、可解释性低、超参数多大规模数据集、复杂非线性关系、特征维度高
支持向量机(SVM)处理非线性(核函数)、高维数据表现好计算开销大、不适用于大规模数据、难解释中小规模数据集、非线性可分数据、文本分类
K近邻(KNN)简单易实现、无需训练、适合小数据集计算慢、对高维数据差、受特征尺度影响小规模数据集、数据模式稳定的分类任务
朴素贝叶斯计算极高效、适合高维稀疏数据、抗噪声独立性假设过强、对特征相关性敏感文本分类、垃圾邮件检测、高维稀疏数据分类
神经网络学习复杂非线性关系、表达能力极强计算复杂、训练慢、黑盒模型、数据需求大图像分类、语音识别、自然语言处理、复杂大规模分类任务

七、逻辑回归的适用场景与替代方案

1. 逻辑回归的最佳适用场景

满足以下条件时,优先选择逻辑回归,能以最低的成本得到较好的效果:

  • ✅ 二分类任务(核心场景),无需多分类;
  • ✅ 特征与目标存在线性关系,或可通过简单特征工程构造线性关系;
  • ✅ 对可解释性要求高,需要明确特征对结果的影响;
  • ✅ 需要概率输出,而非单纯的类别判断;
  • ✅ 大规模数据集,对训练和预测速度有要求;
  • ✅ 作为基线模型,快速得到任务的基准性能。

典型工业场景:信用卡欺诈检测、金融风控(违约预测)、广告点击率(CTR)预测、疾病诊断(二分类)、用户流失预测。

2. 逻辑回归的替代方案(针对性选择)

当逻辑回归的假设条件不满足时,需根据场景选择其他算法,核心替代方案如下:

  1. 非线性数据:选择决策树、随机森林、XGBoost/LightGBM(集成学习),或通过核逻辑回归(引入核函数)处理;
  2. 高维稀疏数据(如文本):选择朴素贝叶斯、SVM、TF-IDF+逻辑回归(特征工程+逻辑回归);
  3. 类别极度不平衡:选择平衡随机森林、XGBoost(带类别权重),或结合采样方法+逻辑回归;
  4. 多分类任务:选择多项逻辑回归、随机森林、神经网络;
  5. 对预测精度要求极高,无需解释:选择梯度提升树(XGBoost/LightGBM)、神经网络;
  6. 小数据集、非线性:选择SVM(核函数)、决策树。

八、总结

逻辑回归是机器学习入门必学、工业必用的经典算法,看似简单,实则包含了线性模型、激活函数、极大似然估计、梯度优化等核心思想,是理解其他算法的基础,核心要点总结:

  1. 核心定位:二分类算法,输出0~1的概率,而非单纯类别,适合需要概率预测的场景;
  2. 核心原理:线性模型做特征组合 + Sigmoid函数映射概率 + 极大似然估计训练参数;
  3. 关键特性:可解释性强、计算高效、超参数少,是所有分类任务的基线模型首选;
  4. 核心假设:特征与目标变量存在线性关系,这是逻辑回归能发挥性能的前提;
  5. 缺点解决:非线性数据做特征工程(交叉、多项式),类别不平衡做SMOTE过采样,异常值提前清洗;
  6. 工程技巧:逻辑回归必须做特征标准化,默认使用L2正则化防止过拟合,根据业务调整分类阈值。

掌握逻辑回归的原理和实现,不仅能应对大部分二分类业务场景,还能为学习线性SVM、梯度提升树、神经网络等进阶算法打下坚实的基础,建议结合本文的实战代码反复练习,理解超参数和特征工程对模型性能的影响。

分类算法——逻辑回归 分类算法 说到分类算法,不能不提到的就是Logistics Regressio(以下均称逻辑回归) 个人认为逻辑回归在分类算法中有着非常重要的地位,因此会花很大的篇幅总结逻辑回归模型。 逻辑回归的模型构建 1. 广义线性模型 为了解决线性回归本身线性结构的局限性,人们在线性回归的基础上在等号的左边或右边加上一个函数,从而更好的捕捉数据的一般规律,此时这种模型就被称为广义线性模型,上面提及的函数被称为联系函数。 有这么一组数据集,假设数据之间的关系是 y=ex+1 y = e^{x+1} y=ex+1 若此时 阅读详情

相关推荐

机器学习:分类(Classification)算法

在目前的机器学习工作中,最常见的三种任务就是:回归分析分类分析聚类分析这篇文章的重点是分类(Classification)在机器学习领域中的应用。什么是「分类」虽然我们人类都不喜欢被分类,被贴标签,但数据研究的基础正是给数据“贴标签”进行分类。类别分得越精准,我们得到的结果就越有价值。分类是一个有监督的学习过程,目标数据库中有哪些类别是已知的,分类过程需要做的就是把每一条记录归到对应的类别之中。由...

小数据研究院 1万+

逻辑回归(Logistic Regression)

逻辑回归是线性分类器(线性模型)—— 主要用于二分类问题【拓:如何判别一个模型是否为线性模型理论上分辨:线性模型是可以用曲线来拟合样本的,但是分类的决策边界一定是直线的数学表达上分辨:表达式中的系数w乘上自变量x(一个w系数影响一个自变量维度x)】(1)penalty:表示惩罚项(正则化类型)。字符串类型,取值为’l1’ 或者 ‘l2’,默认为’l2’。l1:向量中各元素绝对值的和,作用是产生少量的特征,而其他特征都是0,常用于特征选择;

tt丫的博客 9万+

线性回归逻辑回归以及梯度下降算法讲解

量线性回归指只含有一个特征/输入变量x 单变量线性回归表示方法: 单变量的代价函数J(均方误差): 我们现在用数学公式总结一下我们的问题,即 我们的目的是找到合适的θ0,θ1使得代价函数最小,这时候我们列出所有的θ0,θ1 对应的J值,得到一个三维空间图。 或者得到这种二维空间图 在实际的求Loss最小值中,不可能像我们看到的三维图或者二维图那么直观,我的理解是可能有很多的山组合到一起,...

蜗牛遥遥 4032

逻辑回归(Logistic Regression)详解

逻辑回归也称作logistic回归分析,是一种广义的线性回归分析模型,属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程,但实际上主要是用来解决二分类问题(也可以解决多分类问题)。通过给定的n组数据(训练集)来训练模型,并在训练结束后对给定的一组或多组数据(测试集)进行分类。其中每一组数据都是由p 个指标构成。 (1)逻辑回归所处理的数据 逻辑回归是用来进行分类的。例如,我们给出一个人的 [身高,体重] 这两个指标,然后判断这个人是属于”胖“还是”瘦“这一类。对于这个问题,我们可以先测量n个

weixin_60737527的博客 29万+

逻辑回归算法及其在文本分类中的应用

总结一下工作学习中的算法,如有纰漏,请大家多多指教,一起探讨共同进步! 这里首先讲解一下逻辑回归算法,并给出其在文本分类中的应用。 相关代码见我的github,地址为:https://github.com/duguiming111/Text_Classification/blob/master/lr_main.py 逻辑回归算法原理 逻辑回归(logistic regression)虽然...

Explorer_Du的博客 3233

逻辑回归算法——经典的二分类算法

一、概述 1、逻辑回归(Logistic Regression)算法是分类算法,而不是回归算法 2、决策边界:可以是非线性的(高阶) 二、sigmoid函数 1、定义:g(z)=11+e−zg(z) = \frac{1}{1+e^{-z}}g(z)=1+e−z1​ 2、自变量:任意实数;值域:[0, 1] 3、作用:将任意输入映射到[0, 1]区间 三、预测函数 1、预测函数:hθ(x)=g(θT...

Lucia_0103的博客 3246

逻辑回归

Infi-chu: http://www.cnblogs.com/Infi-chu/ 逻辑回归(Logistic Regression)是机器学习中的一种分类模型,逻辑回归是一种分类算法,虽然名字中带有回归,但是它与回归之间有一定的联系。由于算法的简单和高效,在实际中应用非常广泛。 一、简介 1.应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 ...

weixin_30298497的博客 1430

逻辑回归算法基础介绍,简单的二分类三分类实例

在上述二分类的基础上我们只需要数据处理时直接将整个数据划分成特征数据和结果数据,而不需要在根据分类的结果拆分,模型会自己进行三分类训练。但在分类问题中,我们需要的是离散的类别(如 0 或 1),或者某个事件发生的概率(0 到 1 之间)。逻辑回归是一种用于解决二分类(0/1)问题的统计学习方法,它通过对数据的建模来预测某个事件发生的概率。由于我们要做的二分类,所以我们要先将txt文件中分类结果为1,2,3的数据单独分开。因此,我们需要一个函数来将线性回归的输出转换为概率值,这个函数就是。

weixin_72931638的博客 1486

机器学习之逻辑回归(Logistic Regression)

1. 初始化参数学习率:控制梯度下降时参数更新的步长,自定义设置(我将其设置为0.1);最大迭代次数:自定义设置(我设置为10000),防止算法无限循环。收敛阈值:自定义设置(我设置为1e-4),当梯度的范数小于设置值时,认为算法已收敛。参数向量:存储模型的权重和偏置,初始化为 None。2. 调用sigmoid函数,将线性输出转换为概率值(0-1之间)3.模型训练添加偏置项:将输入特征矩阵X扩展为X_b,在第一列插入全 1 向量,对应偏置参数;

2302_82237047的博客 7029

机器学习算法解析—逻辑回归分类

逻辑回归模型属于广义线性回归模型,也是一种常用的二分类模型,模型假设输入向量 x 与分类概率 P(y | x; θ) 符合逻辑线性关系,并可用极大似然或极小化损失函数来估计模型的参数θ。[欢迎访问我的博客:http://blog.youkuaiyun.com/jacobzende ]分类公式:1. 给定线性函数: 2. 给定逻辑函数: 将 z∈(-∞, +∞)值映射到[0,1] 3. 定义复

[Jacob Zeng] 残 雪 灼 日 5006

逻辑回归(logistics regression)

逻辑回归也属于有监督机器学习 之前我们了解到了多元线性回归是用线性的关系来拟合一个事情的发生规律,找到这个规律的表达公式,将得到的数据带入公式以用来实现预测的目的,我们习惯将这类预测未来的问题称作回归问题. 机器学习中按照目的不同可以分为两大类:回归和分类 今天我们一起讨论的逻辑回归就可以用来完成分类任务 文章目录一、分类和回归任务的区别二、逻辑回归不是回归三、如果是你,你要怎么做四、把回归函数掰...

南淮北安的博客 2848

分类算法——逻辑回归 详解

逻辑回归是一种强大而有效的分类算法,能够通过概率的方式对输入数据进行建模。其底层原理基于线性模型和逻辑函数的组合,优化过程使用梯度下降等方法来调整模型参数。尽管有其局限性,但在许多实际应用中依然表现优越,尤其在特征数量较少且具有线性可分性的情况下。

goTsHgo的博客 5544

分类——逻辑回归Python实现

一、确认训练数据 import numpy as np import matplotlib.pyplot as plt #读入训练数据 train = np.loadtxt('D:/深度之眼/study/sourcecode-cn/sourcecode-cn/images2.csv', delimiter=',', skiprows=1) train 打印结果 二、逻辑回归实现 train_x = train[:,0:2] train_y = train[:,2] #初始化参数 theta.

Python,数据分析,机器学习,深度学习 4906

分类算法(Classification algorithms)

我们会发现我们的线性回归往右边平移了,而判断是否为良性肿瘤的值也往右边移动了,这时我们的模型就会因为我们的数据而发生变化,这很明显不是一个准确的方法,让我们得到我们需要的数据。在这里我们把以上的图形进行了我们的线性回归得到了在0.5纵坐标的分界线,在0.5左侧是我们的良性肿瘤而在右边是我们的恶性肿瘤,这时我们得到了我们判断是否是良性肿瘤的方法,但当我们再添加一个数据时。在图中我们的❌指的是我们的好的事物,而⭕️指的是坏的事物,这时,我们要找到我们的决策分界线。很明显它与我们在上面的式子是等价的。

princess_pig的博客 1994

1、STVD和STVP的使用及串口烧写程序教程

文章目录一、前述二、STVD的使用三、STVP的使用1、STVP的作用:2、STVP的使用四、串口烧录程序 一、前述 STVD是意法半导体推出的,可以支持STM8和STM32 而IAR不尽如此,还支持51,MSP430等芯片 软件开发环境:编写程序,调试软件功能,下载固件到单片机中 硬件开发环境:连接外围电路,驱动功能外设,实现电气功能 最终构成一个以STM8系列单片机作为控制核心的应用系统。 MCS-51 一般的开发环境是 IAR 和 Keil STM8 一般的开发环境是 IAR 和 ST

Clichong 1万+

各种AI的调试日记——辅助工作篇

记录使用各种AI(语言大模型)的心得和总结

m0_73056986的博客 1393

逻辑回归-分类算法

目录 逻辑回归-分类算法 1 概述 2sigmoid函数 3 逻辑回归公式 4 逻辑回归的损失函数 5 均方误差与对数自然损失对比 6sklearn逻辑回归API 7 案例 8 总结 逻辑回归-分类算法 1...

fighting 3472

阿里巴巴-AI Agent工程师面试题精选:10道高频考题+答案解析(附PDF)

阿里巴巴AIAgent技术面试要点摘要(149字) 阿里巴巴在AIAgent领域布局完整,面试重点考察系统架构、幻觉治理、成本优化等核心能力。候选人需掌握分层架构设计、多Agent协作死锁处理、Token成本优化策略等关键技术。面试强调工程落地能力,包括工具调用容错、记忆系统设计、安全防护等实践要点。评估体系需覆盖效果、效率、成本多维度指标。未来趋势关注垂直领域专业化、多模态融合等方向。建议准备实际项目案例,突出技术深度与业务价值的结合,展现系统思维和工程能力。

ZHHHHH15的博客 625

分类算法学习(三)——逻辑回归算法的原理及简单实现

1、逻辑函数假设数据集有n个独立的特征,x1到xn为样本的n个特征。常规的回归算法的目标是拟合出一个多项式函数,使得预测值与真实值的误差最小:而我们希望这样的f(x)能够具有很好的逻辑判断性质,最好是能够直接表达具有特征x的样本被分到某类的概率。比如f(x)&gt;0.5的时候能够表示x被分为正类,f(x)&lt;0.5表示分为反类。而且我们希望f(x)总在[0, 1]之间。有这样的函数吗?sig...

爱吃串串的瘦子的博客 1万+

SAP Workflow审批功能实例详细过程

SAP Workflow审批功能实例详细过程

陈送平的博客 6575

【FPGA教程案例89】编译码2——使用vivado核实现RS信道编译码

RS编码,又称里所码,即Reed-solomon codes,是一种前向纠错的信道编码,对由校正过采样数据所产生的多项式有效。当接收器正确的收到足够的点后,它就可以恢复原来的多项式,即使接收到的多项式上有很多点被噪声干扰失真。

FPGA/MATLAB学习教程/源码/项目合作开发 3545

分类算法之逻辑回归

一、算法原理 逻辑回归是分类算法中较为简单的算法,该算法通过S函数与线性回归结合,可以将线性回归的预测值压缩到[0,1]区间,该值也可以理解成属于某一类的概率多大,并通过设定阈值从而能够判断属于哪一类。 二、算法求解 逻辑回归既可以用于二分类任务,也可以用于多分类任务,但是逻辑回归常用用于二分类任务。对于二分类任务,逻辑回归可以看成条件概率即在训练集与某参数的条件下,“是”的概率...

muxiangqiang159753的博客 1558

一种低照度目标检测新策略:IAT集成YOLOv8实现暗光与雾霾环境下的性能优化【附核心实战代码】

随着深度学习和计算机视觉的快速发展,目标检测模型在各个领域中的应用不断扩展,特别是在低照度环境下的视觉任务。YOLOv8作为当前最先进的目标检测模型之一,在高亮度和良好照明条件下表现出色,但在低照度环境下的性能存在一定的不足。为了解决这一问题,我们提出了一种轻量级的低照度图像增强网络(IAT)来改进YOLOv8的暗光检测能力。本篇文章将深入探讨这一创新改进,并附带代码实现,帮助大家更好地理解这一技术的应用和效果。

一键难忘的博客 3504

逻辑回归算法

目录引言一、逻辑回归算法的原理1.1 预测函数1.2 损失函数(代价函数)二、案例实现2.1 梯度下降法实现线性逻辑回归2.2 sklearn实现线性逻辑回归 引言 逻辑回归算法的名字里虽然带有“回归”二字,但实际上逻辑回归算法是用来解决分类问题的算法。线性回归和逻辑回归相当于一对“孪生兄弟”,本文将从二分类入手,介绍逻辑回归算法的预测函数、损失函数(代价函数)和梯度下降算法公式,小伙伴们可以不断联想线性回归与逻辑回归的区别与联系。 一、逻辑回归算法的原理 假设有一场球赛,我们有两支球队的所有出场球员信

m0_37940048的博客 4611

Altera FPGA与高速ADS4249和DAC3482的LVDS接口设计

引言:本文以TI的ADS4249(ADC)和DAC3482(DAC)之间的接口为例,介绍Altera FPGA与ADC/DAC之间的DDR LVDS接口设计以及时序约束详细设计。本文介绍的实例可方便扩展到具有类似接口格式的其他高速数据转换器设计。

FPGA_Designer 1902

机械式激光雷达实现原理以及特性总结

本文介绍了机械式激光雷达的技术原理和核心特性。该技术通过机械旋转结构实现360°三维扫描,采用飞行时间法测距并生成点云数据。核心优势包括全向扫描、长距高精度和成熟度高,但存在体积大、成本高、可靠性受限等局限。典型应用于自动驾驶测试车、测绘建模等领域。与固态激光雷达相比,机械式在视场角和探测距离方面有优势,但在体积、成本和可靠性方面处于劣势。该技术目前主要应用于对成本不敏感的专业场景。

start_up_go的博客 263
上一篇: 【分类算法】决策树超详细讲解
下一篇: 【分类算法】朴素贝叶斯超详细解析
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值