逻辑斯蒂回归（Logistics Regression）简单介绍

最新推荐文章于 2022-07-26 18:14:48 发布
原创 最新推荐文章于 2022-07-26 18:14:48 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #python #机器学习

本文介绍了统计学习中的经典分类算法——逻辑斯蒂回归。内容涵盖逻辑斯蒂分布的概念，包括分布函数和密度函数的特性，并通过图像展示S型曲线。进一步讨论了逻辑斯蒂回归模型的条件概率分布，解释了几率比和logit函数，指出在Logistics模型中，输出与输入之间的关系呈现线性对数几率。最后提到了贝叶斯公式在推理过程中的应用，以及如何通过极大似然估计求解模型参数。

概念

很多内容摘自李航的《统计学习方法》，在此说明。感谢
在李航《统计学习方法（第二版）》书中写到：逻辑斯蒂回归是统计学中的经典分类算法。
是的，他虽然叫回归，但是他却用于实际中的分类模型
首先介绍逻辑斯蒂分布（Logistics distribution）。
设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：
在这里插入图片描述
在这里插入图片描述
式中μ为位置参数，s是形状参数。
分布函数属于逻辑斯蒂函数，是一条S型的曲线，又称为sigmoid函数（μ=0，s=1）。该曲线以点（μ，1/2）为中心堆成，曲线在中心点附近增长速度较快，两端增长速度较慢。形状参数s值越小，曲线在中心点增长得越快。
这里我取μ为0，s为1，画出他们的图像
分布函数图像：
在这里插入图片描述

密度函数的图像：
在这里插入图片描述
其实下面的图就是上面的图的导函数。

再看书中定义的逻辑斯蒂回归模型的条件概率分布：

最低0.47元/天 解锁文章
PY_smallH
关注
彻底搞懂逻辑斯蒂回归
修炼之路
01-01 4万+
在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logistic regression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确
逻辑斯蒂回归(Logistics Regression)
Datawhale
06-21 1906
Author: 吕雪杰，xiaoran; Datawhale Logistics Regression简介 逻辑回归是在数据服从伯努利分布的假设下，通过极大似然的方法，运用梯度下降法来求解参数，从而达到将数据二分类的目的。 核心公式 对于给定的数据集(xi,yi)i=1N,y∈0,1(x_i,y_i)^N_{i=1},y \in {0,1}(xi​,yi​)i=1N​,y∈0,1 p(y=...
逻辑斯蒂回归
LaBiXiaoSen的博客
06-26 444
1、Logistics回归的原理:利用Logistics回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理Logistic Regression和Linear Regression的原理是相似的，可以简单的描述为...
【笔记】逻辑斯蒂回归
SpriteNym的博客
07-26 1392
太蓝了
LogisticRegression:(c++) 多元逻辑斯蒂回归，并实现随机梯度下降和L1L2正则化项
06-10
多元逻辑斯蒂回归，并实现随机梯度下降和L1/L2正则化项。 参照 在此基础上加入L1和L2 Regularization；关于逻辑斯蒂回归中的L1和L2正则化项详见以下两个链接: 并对输入格式进行泛化，例如可以对“Sun Weather=rainy:...
逻辑斯蒂回归（logistic regression）的梯度下降算法
Jerry_Chang31的博客
12-30 3154
值得注意的是，逻辑回归（logistic regression）解决的是有监督的分类问题，而非回归问题。 分类和回归的区别 分类问题和回归问题的区别在于输出：分类问题的输出是离散型变量，如判断一个人是否得病，只有两种结果：得病或者不得病；而回归问题的输出为连续型变量，如预测一个人五年后的工资，它就可能是一个实数区间内的任意值。 logistic和多重线性回归 实际上，logistic回归和多重线性...
学习笔记(二):逻辑斯蒂回归算法（Logistic Regression）
xdg2008的专栏
01-21 1145
一、算法简介 1.1 定义 逻辑斯蒂回归(Logistic Regression) 虽然名字中有回归，但模型最初是为了解决二分类问题。 线性回归模型帮助我们用最简单的线性方程实现了对数据的拟合，但只实现了回归而无法进行分类。因此LR就是在线性回归的基础上，构造的一种分类模型。 对线性模型进行分类如二分类任务，简单的是通过阶跃函数(unit-step function)，即将线性模型的输出值套上一个函数进行分割，大于z的判定为0，小于z的判定为1。 但这样的分段函数数学性质不好，既不连续也不
逻辑斯蒂回归（Logistic）
热门推荐
青萍之末的博客
06-28 1万+
一、线性回归 1、线性回归的概念   如果特征值之间存在线性关系就可以使用线性回归建模对其预测结果。 （1）函数模型 （2）最小二乘法求解   何为最小二乘法，其实很简单。我们有很多的给定点，这时候我们需要找出一条线去拟合它，那么我先假设这个线的方程，然后把数据点代入假设的方程得到观测值，求使得实际值与观测值相减的平方和最小的参数。对变量求偏导联立便可求。   如果矩阵不满...
逻辑斯蒂回归（Logistic Regression）
wuzqChom的博客
06-30 1252
在之前的博客，简单的介绍了线性回归，今天来看看它的一个进阶Logistic Regression。1. 问题背景线性回归可以让我们呢学习得到特征和目标label的权重关系，新来的一组测试样本，用同样的特征，它可以告诉我们一个预测值。但是很多时候我们需要的是一个更加有意义的值，比如在CTR预估的时候我们预测用户点击投放广告的概率，医院里预测一个人心脏病发的概率。Logistic Regre(LR)就可
机器学习（四）——逻辑斯蒂回归（Logistic Regression）
qq_40296818的博客
02-19 5247
机器学习（四）——逻辑斯蒂回归（Logistic Regression）一、算法简介1.1 概念二、Logistic回归理论推导2.1 Logistic回归2.1.1 参数向量θ2.2 梯度上升算法 一、算法简介 1.1 概念 Logistic回归是分类方法，它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。其实，Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。
逻辑斯蒂回归算法的步骤和流程图
最新发布
10-20
<think>首先，用户查询是关于逻辑斯蒂回归算法的步骤和流程图。我需要基于系统级指令来构建我的回答。 系统级指令回顾： - 所有行内数学表达式必须使用 `$...$` 格式。 - 独立公式必须使用 `$$...$$` 格式。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题。 用户提供了两个引用： - 引用[1]：讨论了逻辑斯蒂回归的基本原理、关键词如Logistics函数、最大似然估计、梯度下降法。 - 引用[2]：强调了逻辑斯蒂回归是一种分类方法，优点包括计算代价不高、可解释性等。 用户说："我想查找逻辑斯蒂回归算法的步骤和流程图"，所以我需要专注于步骤和流程图。 我的回答应该： 1. 结构清晰：逐步介绍逻辑斯蒂回归算法。 2. 包括必要的数学解释，使用指定的LaTeX格式。 3. 提供一个流程图来描述过程。 4. 最后生成相关问题。 5. 使用中文。 逻辑斯蒂回归的关键步骤： - 定义模型：使用逻辑函数（sigmoid函数）将线性回归输出映射到概率。 - 公式：$p(y=1|x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \cdots + \beta_n x_n)}}$ - 损失函数：通常使用对数似然损失或交叉熵损失。 - 参数估计：通过最大化似然函数或最小化损失函数来估计参数，常用梯度下降法。 - 训练过程：迭代更新参数。 - 预测：基于概率阈值进行分类（通常0.5）。 流程图可以包括： 1. 输入数据。 2. 初始化参数（如权重）。 3. 计算预测概率（应用sigmoid函数）。 4. 计算损失（使用对数似然）。 5. 更新参数（使用梯度下降）。 6. 检查收敛（如迭代次数或损失变化）。 7. 输出模型。 8. 预测新数据。 在回答中： - 使用行内数学表达式，如 `$w$` 权重。 - 独立公式，如sigmoid函数。 - 引用用户提供的引用自然地添加标识，如 "[^1]"。 生成相关问题：基于主题，如： 1. 逻辑斯蒂回归在多分类中的应用？ 2. 如何优化梯度下降法？ 3. 正则化在逻辑斯蒂回归中的作用？ 4. 逻辑斯蒂回归与其他分类算法的比较？ 确保回答真实可靠：基于标准机器学习的知识。 结构化回答： - 先简要介绍逻辑斯蒂回归。 - 然后详细描述步骤。 - 提供流程图（用文本描述或用Markdown表示）。 - 结束时添加相关问题。 流程图可以用文本描述或用ASCII art，但由于这里是文本响应，我可以用列表或描述性语言。 </think>### 逻辑斯蒂回归算法的步骤及流程图 逻辑斯蒂回归（Logistic Regression）是一种经典的机器学习分类算法，虽然名称包含“回归”，但主要用于二分类或多分类问题。该算法基于概率预测，通过逻辑函数（sigmoid函数）将线性组合映射到[0,1]区间，输出样本属于正类的概率。引用中提到，逻辑斯蒂回归假设数据服从伯努利分布，通过最大化似然函数（或最小化损失函数），并结合梯度下降法求解参数，具有计算代价低、可解释性强等优点[^1][^2]。以下是算法的详细步骤和流程图描述。 #### 逻辑斯蒂回归算法的步骤 逻辑斯蒂回归的核心是训练模型参数（权重和偏置项），以最小化损失函数。具体步骤如下（假设为二分类问题）： 1. **模型定义**： 逻辑斯蒂回归模型使用逻辑函数（sigmoid函数）将线性回归输出转换为概率： $$ p(y=1 | \mathbf{x}) = \frac{1}{1 + e^{-\mathbf{w}^T \mathbf{x} + b}} $$ 其中： - $y$ 是目标变量（0或1）。 - $\mathbf{x}$ 是特征向量（例如 $[x_1, x_2, \dots, x_n]$）。 - $\mathbf{w}$ 是权重向量（例如 $[w_1, w_2, \dots, w_n]$）。 - $b$ 是偏置项。 - 输出 $p(y=1 | \mathbf{x})$ 表示样本属于正类的概率。 2. **损失函数定义**： 使用对数似然损失（Log-Likelihood Loss）或交叉熵损失，以衡量预测概率与实际标签的差异： $$ L(\mathbf{w}, b) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \log(p^{(i)}) + (1 - y^{(i)}) \log(1 - p^{(i)}) \right] $$ 其中： - $m$ 是训练样本数。 - $y^{(i)}$ 是第 $i$ 个样本的实际标签。 - $p^{(i)}$ 是第 $i$ 个样本的预测概率（$p(y=1 | \mathbf{x}^{(i)})$）。 - 目标是最小化 $L$，这等价于最大化似然函数[^1]。 3. **参数初始化**： 随机初始化权重 $\mathbf{w}$ 和偏置 $b$（例如，均值为0的小随机值）。 4. **优化求解**： 使用梯度下降法迭代更新参数，以最小化损失函数： - 计算梯度（损失函数对参数的偏导数）： $$ \frac{\partial L}{\partial w_j} = \frac{1}{m} \sum_{i=1}^{m} (p^{(i)} - y^{(i)}) x_j^{(i)} $$ $$ \frac{\partial L}{\partial b} = \frac{1}{m} \sum_{i=1}^{m} (p^{(i)} - y^{(i)}) $$ - 更新参数： $$ w_j := w_j - \alpha \frac{\partial L}{\partial w_j} $$ $$ b := b - \alpha \frac{\partial L}{\partial b} $$ 其中： - $\alpha$ 是学习率（learning rate），控制更新步长。 - 梯度下降法可加速收敛并避免局部最优[^1]。 5. **迭代训练**： 重复以下过程直至收敛（例如，损失变化小于阈值或达到最大迭代次数）： - 前向传播：计算所有样本的 $p^{(i)}$。 - 反向传播：计算梯度并更新参数。 - 收敛条件：通常基于损失值或迭代次数（例如，$|L_{t} - L_{t-1}| < \epsilon$）。 6. **预测决策**： 训练完成后，对新样本 $\mathbf{x}_{\text{new}}$ 进行预测： - 计算概率： $p = \frac{1}{1 + e^{-\mathbf{w}^T \mathbf{x}_{\text{new}} + b}}$。 - 分类决策：如果 $p \geq 0.5$，预测 $y=1$；否则预测 $y=0$。 #### 逻辑斯蒂回归算法流程图 以下是算法的流程图描述（文本格式），展示了从数据输入到预测的完整过程。流程图包含关键步骤和决策点，便于可视化理解： ```mermaid graph TD A[输入训练数据：特征X和标签Y] --> B[初始化参数：权重w和偏置b] B --> C[迭代训练循环] C --> D[前向传播：计算预测概率p] D --> E[计算损失函数L] E --> F[反向传播：计算梯度] F --> G[更新参数：w和b] G --> H{是否收敛？} H -- 是 --> I[输出训练模型] H -- 否 --> C I --> J[输入新样本] J --> K[计算预测概率p] K --> L[基于阈值分类：p≥0.5为1，否则为0] L --> M[输出预测结果] ``` **流程图解释**： - **输入数据**：训练数据集包括特征矩阵 $\mathbf{X}$ 和标签向量 $\mathbf{y}$。 - **参数初始化**：随机设置 $\mathbf{w}$ 和 $b$。 - **迭代训练**：核心循环包括前向传播（计算概率）、损失计算、梯度计算和参数更新。梯度下降法确保参数逐步优化[^2]。 - **收敛判断**：基于损失变化或迭代次数，防止过拟合。 - **预测阶段**：应用训练好的模型对新数据进行分类，阈值通常为0.5。 - 优点：流程简单高效，适用于大规模数据集；缺点：若线性边界不拟合数据，可能欠拟合[^2]。 #### 注意事项 - **多分类扩展**：逻辑斯蒂回归可通过“一对多”（One-vs-Rest）策略扩展到多分类问题。 - **正则化**：为防止过拟合，可在损失函数中添加L1或L2正则化项（例如 $L_{\text{reg}} = L + \lambda \|\mathbf{w}\|^2$）。 - **性能优化**：引用强调，梯度下降法可结合学习率衰减或随机梯度下降（SGD）提升效率[^1][^2]。 逻辑斯蒂回归结合了概率建模和优化技术，在金融风控、医学诊断等领域广泛应用[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值