对数几率回归（Logistic Regression）总结

最新推荐文章于 2025-09-27 09:43:55 发布
原创 最新推荐文章于 2025-09-27 09:43:55 发布 · 1.7w 阅读 · 54 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了对数几率回归（Logistic Regression），一种处理分类问题的算法，常见于垃圾邮件分类、天气预测等领域。文章介绍了Logistic回归的假设函数，包括sigmoid函数和对数几率，以及其非凸的代价函数与对数似然函数。正则化作为解决过拟合的手段被提及，同时阐述了正则化项在梯度下降算法中的作用。最后，讨论了Logistic回归的优点和缺点，如概率预测、模型解释性以及对多重共线性的敏感性。

对数几率回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下：

回归问题：预测一个连续的输出。
分类问题：离散输出，比如二分类问题输出0或1.

逻辑回归常用于垃圾邮件分类，天气预测、疾病判断和广告投放。

一、Logistic回归假设函数

对于一个分类问题，希望找到一个预测函数hθ(x)，使得：

这里写图片描述

只有发生“y=1”（正例）与不发生“y=0”（反例）两种结果（分类问题）

sigmoid函数可以满足这个性质：
这里写图片描述
这里写图片描述

其中的θTx是一个线性的函数

所以

最低0.47元/天 解锁文章
Logistic回归实战篇之预测病马死亡率（三）
燕哥带你学算法
10-21 8184
作 者：崔家华 编 辑：李文臣 四、使用Sklearn构建Logistic回归分类器 开始新一轮的征程，让我们看下Sklearn的Logistic回归分类器！ 官方英文文档地址：http://scikit-learn.org/dev/modules/generated/sklearn.linear_model.LogisticRegression.html#sklearn.
【机器学习笔记小白版】（3）对数几率回归
m0_56279037的博客
06-25 595
对数几率回归即Logistic Regression回归，其主要是做分类任务。其主要原理为在线性模型的基础上套一个映射函数来实现分类功能。例如通过将线性模型的输出映射到0和1之间，从而实现二分类。
对数几率回归
12-22
对数几率回归的一个简单的算法描述，可以参看周志华机器学习一书。
逻辑回归(Logistic Regression)
最新发布
A5522000的博客
09-27 1322
逻辑回归是一种用于二分类问题的机器学习算法，通过Sigmoid函数将线性回归的输出转换为概率值。核心原理包括：1）利用线性模型计算特征重要性；2）通过概率阈值（如0.5）分类；3）使用极大似然估计优化参数。其损失函数通过交叉熵衡量预测与真实结果的差异。
对数几率回归（Logistic Regression）
韩明宇
03-25 1388
简介 假设你是某某大学某某系的主任，你想根据每个申请者在两次考试中的成绩来确定他们的入学机会。你有以前申请者的历史数据，可以用作对数几率回归的训练集。对于每个训练示例，你都有申请人在两次考试中的分数和录取结果。 绘制数据 横纵坐标是申请人两次考试的成绩，录取和未录取的示例用两种记号标出。 # PLOTDATA Plots the data points X and y int...
对数几率回归 —— Logistic Regression
hellozhxy的博客
07-02 1万+
机器学习基础算法python代码实现可参考：zlxy9892/ml_code1 原理1.1 引入首先，在引入LR(Logistic Regression)模型之前，非常重要的一个概念是，该模型在设计之初是用来解决0/1二分类问题，虽然它的名字中有回归二字，但只是在其线性部分隐含地做了一个回归，最终目标还是以解决分类问题为主。为了较好地掌握 logistic regression 模型，有必要先了解...
手撕机器学习算法 | 对数几率回归 | LogisticRegression
m0_70254540的博客
07-07 1003
基于Python（Numpy）和C++（Eigen）手撕常见的机器学习算法中的核心逻辑
逻辑回归（对数几率回归）Logistic Regression
m0_53362429的博客
08-12 919
逻辑回归方法用来处理分类问题（classification）。主要利用二分类来说明逻辑回归方法理论以及简单应用。
对数几率回归（逻辑回归）
01-20
文章目录一、对数几率和对数几率回归二、Sigmoid函数三、极大似然法四、梯度下降法四、Python实现 一、对数几率和对数几率回归   在对数几率回归中，...  而对数几率回归（Logistic Regression）则试图从样本集中学
机器学习算法系列（七）-对数几率回归算法（一）（Logistic Regression Algorithm）
Saisimon`s blog
01-09 6317
机器学习算法系列（七）-对数几率回归算法（一）（Logistic Regression Algorithm）
机器学习算法系列（九）-多分类对数几率回归算法（Multinomial Logistic Regression）
Saisimon`s blog
01-13 5043
机器学习算法系列（九）-多分类对数几率回归算法（Multinomial Logistic Regression）
对数线性模型之一(逻辑回归), 广义线性模型学习总结
热门推荐
玉心sober
08-17 5万+
经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归理论和应用的学习总结、以及广义线性模型导出逻辑回归的过程，下一篇将对最大熵模型的学习总结。
对数几率回归分析（逻辑回归）
qq_41481924的博客
04-06 2148
前言：引入周志华《机器学习》书中对数几率统计中的理论和吴恩达深度学习系列结合自己理解的内容。 应用场景：逻辑回归是一个应用于二分类的算法。其输出标记为，而线性回归模型所产生的预测值是实数，于是将实值z转化为0/1值，如果预测值大于0则标记为1，反之则标记为0. 逻辑回归的假设函数（Hypothesis function）： 值为预测值 更正式的说是表示y等于1的可能性或机会 ...
对数几率回归-Logistic Regression
wuyanxue的专栏
05-05 5378
Logistic Regression是一个经典的判别学习分类方法。参考资料—西瓜书&&机器学习公开课-Andrew Ng。 首先我们来看为什么Logistic Regression被称为对数几率回归。 几率：将一个实例映射到正例或者负例的可能性比率。令P(y=1|x;θ)P(y=1|x;θ)P(y = 1 | x; \theta)表示将样本分类成正例的概率。那么P(y=0|x...
对数几率回归——Logistics Regression原理
稚与的博客
05-07 3274
Logistic Regression 简介 对数几率回归，也称为逻辑回归，虽然名为“回归”，但实际上是分类学习方法。 优点 不仅可以预测类别，还可以得到近似概率，对许多需要利用概率辅助决策的任务很有用。 直接对分类可能性建模，无需考虑数据分布的问题。 对率函数任意阶可导，有很好的数学性质 缺点 特征空间较大时，性能表现不好 容易欠拟合，一般准确率不高 只适用线性可分问题...
使用对数几率回归（Logistic Regression）将回归使用对数几率回归（Logistic Regression）将回归数据集转化为二分类数据集数据集转化为二分类数据集，给出纯文本形式
06-24
### 如何使用 Logistic Regression 将回归问题的数据集转换为二分类数据集 在实际应用中，Logistic Regression 是一种用于解决分类问题的模型。如果需要将回归问题的数据集转换为二分类问题，则可以通过设定一个阈值来实现。具体来说，可以根据目标变量的分布情况，选择一个合适的阈值，将目标变量划分为两类。以下是详细说明和示例代码。 #### 数据集转换逻辑 假设原始数据集中目标变量 \( y \) 是连续值（例如房价、温度等），可以定义一个阈值 \( T \)，使得当 \( y \leq T \) 时，将其标记为类别 0；当 \( y > T \) 时，将其标记为类别 1[^1]。这种转换方式可以将回归问题转化为二分类问题。 #### 示例代码 以下是一个纯文本形式的 Python 示例代码，展示如何使用 Logistic Regression 将回归问题的数据集转换为二分类问题并进行训练： ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # 假设我们有一个回归问题的数据集 X 和 y # X 是特征矩阵，y 是连续的目标变量 # 这里生成一些随机数据作为示例 np.random.seed(42) X = np.random.rand(100, 5) # 100个样本，5个特征 y = np.random.rand(100) * 100 # 目标变量是连续值，范围为 [0, 100) # 定义一个阈值 T，将回归问题转换为二分类问题 T = 50 # 阈值 y_binary = (y > T).astype(int) # 当 y > T 时为 1，否则为 0 # 将数据集划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y_binary, test_size=0.2, random_state=42) # 创建 Logistic Regression 模型 model = LogisticRegression(penalty='l2', C=1.0, solver='liblinear') # 训练模型 model.fit(X_train, y_train) # 在测试集上进行预测 y_pred = model.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print(f"模型在测试集上的准确率为: {accuracy:.2f}") ``` #### 关键点解释 1. **阈值的选择**：阈值 \( T \) 的选择取决于具体问题和目标变量的分布情况。可以选择一个固定值，或者通过统计方法（如均值、中位数）确定[^2]。 2. **模型参数设置**：在 Logistic Regression 中，`penalty='l2'` 表示使用 L2 正则化，`C=1.0` 控制正则化强度[^3]。 3. **评估指标**：对于二分类问题，常用的评估指标包括准确率、精确率、召回率和 F1 分数等。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值