ML实践——逻辑回归logistic regression

最新推荐文章于 2025-05-19 16:53:23 发布
原创 最新推荐文章于 2025-05-19 16:53:23 发布 · 2.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文深入探讨了逻辑回归的工作原理，包括其与感知机的区别、Sigmoid激活函数的优势、对数损失函数的选择及其在最大似然估计中的作用。介绍了逻辑回归的代价函数，并提及L2正则化防止过拟合。此外，文章还对比了线性回归与逻辑回归，强调逻辑回归在处理二分类问题上的优势。最后，提到了一般回归模型与指数分布的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原理

从图中可以看出与perceptron的异同：

logistic regression model:
回归模型

perceptron:
这里写图片描述

简单地说把Sigmoid function用作activation function。

ϕ(z)=11+e−z
ϕ(z)=z

Advantages:
1. Sigmoid function的收敛性更好
2. 逻辑回归是用通过计算一件事情发生的概率来预测事件是否发生

cost function

具体公式推导参见：链接
为什么cost function不再用平方差，而是用对数损失函数？这个问题我纠结了好久，最终在这里
看到一句话

“而在已知模型和一定样本的情况下，估计模型的参数，在统计学中常用的是极大似然估计方法”

所以说，选择的cost function与模型是有一定关系的。我们的log-likelihood function是极大似然函数的对数，我们要取对数？
1. 好求导
2. 防止numerical underflow发生（就是超出编译器里数值表示范围）

log-likelihood function
l(w)=

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习算法与Python实践之（七）逻辑回归（Logistic Regression）
wenyusuran的专栏
05-14 4320
机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。        这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学
逻辑回归实践
醒岛
01-05 394
import numpy as np import matplotlib.pyplot as plt import random import re from SMS_parse import * 逻辑回归 回归与分类 对于一个给定的训练集（training set）(x,y)，其中y=h(x)=h(x1,x2,…,xn)，在h未知的情况下，求得h或者h的近似解的过程，被称为猜测（hypothe...
逻辑回归原理、实现与实验总结
最新发布
2301_79632864的博客
05-19 831
关键认知突破。
逻辑回归实践[1]
disguiseR
03-19 272
# 逻辑回归实践[1] ##1 导入数据： https://pan.baidu.com/s/1wO9qJRjnrm8uhaSP67K0lw 说明：这份数据集是金融数据（非原始数据，已经处理过了），我们要做的是预测贷款用户是否会逾期。表格中 “status” 是结果标签：0 表示未逾期，1 表示逾期 分析——原始大小为（4754,90） 将特征缺失太多的样本删除data.dropna(th...
逻辑回归python实践
qq_38120760的博客
09-07 413
#coding=utf-8 import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report#逻辑回归结果评估 from sklearn.preprocess...
逻辑回归实战（动手实践）
热爱学习的小鲁的博客
04-22 2238
题目：我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。 import pandas as pd import numpy as np import matplotlib.pyplot as plt df=pd.read_table('Log
吴恩达机器学习课后作业2——逻辑回归（logistic regression）
weixin_46915208的博客
06-06 945
假设您是一个大学部门的管理员，您想根据申请人在两次考试中的成绩来确定他们的入学机会。您可以使用以前申请人的历史数据作为逻辑回归的训练集。您的任务是构建一个分类模型，根据这两门考试的分数估计申请人被录取的概率。...
札记_ML——《统计学习方法》逻辑回归logistic regression)
Fuguir™的博客
05-12 434
逻辑回归logistic regression 分类模型，并常用于二分类。 1).概念logistic回归又称logistic回归分析，是一种广义的线性回归分析模型。 本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。 常用于数据挖掘，疾病自动诊断，经济预测等领域。 简单、可并行化、可解释强 2).Logistic分布：——连续性概率分布 分布函数：F(x)=P(X≤x)=11+e−(x−μ)/γ概率密度函数：f(x)=F′(X≤x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2
Spark-mllib源码分析之逻辑回归(Logistic Regression)
JokerDuuuu的博客
01-20 3979
一个例子 类关系图 创建用LBFGS求解LR的类 运行模型 模型优化 1 损失与梯度的计算 2 LR目标函数梯度计算 3 LR正则项计算及梯度更新 模型预测 总结 1. 一个例子 // 0. LogisticRegressionWithLBFGSExample#main() def main(args: Array[String]): Unit = { val c
分类算法——逻辑回归（七）
qq_37441377的博客
04-24 936
逻辑回归是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。 逻辑回归的应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。 逻辑回归的原理 1输入 逻辑回归的输入就是一个线性回归的结果。 2激活函数 sigmoid函数 分析： 回归的结果输入到sigmoid函数当中 输出结果：
机器学习 | 掌握逻辑回归在实践中的应用
ztK63LrD的博客
02-01 2404
逻辑回归（LogisticRegression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。
逻辑回归实践总结一
DellTower的博客
02-26 2422
最近使用LR的方法，训练了一个排序模型，边实践边总结，这篇说下LR相关的理论知识。 一、LR的定义 LR是Logistic Regression 的缩写，称为逻辑回归。假设数据集为,其中m代表数据个数，是数据的特征向量，维度为n，是其j维的值，是数据的类别，只有两个值{+1,-1}，1代表正样本，-1代表负样本。LR是一种分类模型，它通过以下公式判断出特征向量的类别： 其中w是权重向...
机器学习之逻辑回归详解和实践
Peter_Changyb的博客
09-02 549
回归分析是数据挖掘中的一种重要方法，是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理，旨在确定两种或两种以上变量间相互依赖的定量关系，主要用于预测、分类和因素分析。回归分析的基本原理是找到反映输入变量和输出变量间关系的回归方程，利用回归方程完成预测、分类和因素分析的任务。   逻辑回归（Logistic Regression）是回归分析的一种...
Logistic回归原理分析和实践
panfengblog
07-13 1147
Logistic回归原理分析和实践 参考资料： 机器学习 周志华 统计学习方法 李航 一些博客：logistic回归详解,详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解,逻辑回归（Logistic Regression）-牛顿法求解参数 原理分析 线性回归 这里介绍Logisitic回归首先从线性回归讲起（logistic回归其实就是一种广义的线性回归）。 线性模型（linear model）试图学得一个通过属性的线性组合来进行的预测的函数（假设给定d个属性，x=[x1
逻辑回归实践总结二
DellTower的博客
03-04 2690
LR总结二--特征工程 上篇总结了LR的理论，这篇总结使用LR时关于特征工程方面的知识。主要从特征来源、特征选择、特征处理几个方面总结。 我所面对的任务是训练一个LR模型来预测用户对歌曲的喜爱与否。 一、特征来源 一般情况下模型所需要的特征来自于两个方面，1：和业务相关的原始特征，2：通过其他模型提取的高级特征。针对我的问题，第一种来源的特征就有很多，比如歌曲的相关信息（歌曲名，歌手名，歌...
机器学习（三）：逻辑回归之从理论到实践
FREEMAN
06-09 667
一、基本理论 　　逻辑回归是一个二值型的分类器，它是利用Sigmoid函数来进行分类的，Sigmoid函数的表达式如下： g(z)=11+e−zg(z)=11+e−zg(z) = \frac{1}{1+e^{-z}} 其函数图像如下图： 结合表达式可以知道： 当z=0时，g(z)=0.5当z=0时，g(z)=0.5当z=0时，g(z)=0.5 当z>0时，g(z)>0....
Python 逻辑回归：理论与实践
mate1357的博客
01-09 1071
在当今信息时代，机器学习和人工智能已经渗透到了各行各业，成为推动科技和产业发展的重要驱动力。其中，逻辑回归作为一种简单而有效的分类算法，在数据科学和机器学习领域扮演着重要角色。本篇博客将深入探讨逻辑回归的原理和实现，并通过代码示例展示其在不同数据集上的分类效果。同时，我们还将介绍逻辑回归的优缺点，帮助你更好地理解逻辑回归算法的特点和适用场景。逻辑回归是一种经典的机器学习算法，尽管名字中包含"回归"二字，但实际上它主要用于解决分类问题。
ML：Logistic Regression
Raymone Shaw的博客
11-04 299
Logistic Regression
生成逻辑回归模型，随机森林模型，Adaboost模型以及随机森林——Adaboost融合模型各个模型的详细的，容易理解的数学理论；以及给我关于逻辑回归模型，随机森林模型，Adaboost模型以及随机森林——Adaboost融合模型实验的python代码，代码要可以正常运行，可以用UCI数据集信贷数据集类型的数据代替，但是你给我的代码一样要可以正常的运行。对于上述你在给我答案的时候，答案一定要深入，详细，容易理解。请回答我的所有问题给我完整的答案
03-13
<think>好的，我现在需要帮用户解决关于逻辑回归、随机森林、Adaboost以及它们的融合模型的数学理论详解和Python代码的问题。首先，我得理清楚每个算法的数学原理，然后组织成用户能理解的中文解释。接下来，要编写可运行的代码，特别是基于UCI信用数据集的实现。同时，用户还提到了融合模型，这里可能需要将随机森林和Adaboost结合起来，比如用随机森林作为基学习器的Adaboost集成，或者用两者的预测结果进行堆叠。 首先，处理数学理论部分。逻辑回归的核心是sigmoid函数和最大似然估计。需要解释清楚逻辑回归如何将线性回归的结果映射到概率，以及损失函数的推导。随机森林则涉及决策树、装袋法（bagging）和特征随机选择。Adaboost的要点在于加权训练样本和弱分类器的组合，特别是权重更新的公式。 然后，融合模型部分。用户提到的Random Forest-Adaboost ensemble可能需要进一步明确。通常，融合方法有投票法、堆叠法等。这里可能需要将随机森林和Adaboost作为基模型，再通过某种方式（如元分类器）进行融合。或者，可能是指使用Adaboost来提升随机森林的效果，但需要确认具体结构。可能需要参考已有的融合方法，比如用Adaboost来组合多个随机森林模型，或者反过来。 接下来是代码部分。UCI信用数据集可能需要先进行数据预处理，比如处理缺失值、标准化、划分训练测试集。然后分别实现逻辑回归、随机森林、Adaboost，最后是融合模型。对于融合模型，可能需要使用VotingClassifier或StackingClassifier。需要注意参数设置和评估指标，如准确率、召回率、F1值等。 需要检查引用的文献是否有相关代码或理论支持。比如引用[1]中的随机森林调优参数，引用[2]中的Adaboost多分类模型，引用[3]中的SVM和KNN对比，引用[4]中的Hold-Out方法。这些引用可能在模型训练、评估或数据划分时用到。 可能遇到的问题包括数据集的加载是否正确，特征工程是否需要调整，模型超参数如何设置，以及融合模型的具体实现方式。需要确保代码的可运行性，比如导入正确的库，处理可能的错误，如缺失值处理，特征缩放等。 最后，生成相关问题时要考虑用户可能想进一步了解的内容，如模型的优缺点、调参方法、其他融合策略等。需要确保问题与当前主题相关，并且能引导用户深入探索。 现在，按照用户的要求，结构需要分数学原理、Python实现、相关问题三个部分。数学原理要详细但不过于复杂，代码要完整并附有解释。融合模型部分可能需要更详细的解释，确保用户理解其工作机制。同时，引用文献中的内容要自然地融入回答，比如在交叉验证部分引用[4]，在Adaboost部分引用[2]等。 总结下来，步骤是： 1. 分算法详细讲解数学原理。 2. 编写每个算法的Python代码，并整合融合模型。 3. 确保代码基于UCI数据集，处理数据预处理。 4. 添加相关引用到合适的位置。 5. 生成相关问题，促进进一步学习。</think>### 数学理论详解 #### 一、逻辑回归 1. **核心公式**： 使用sigmoid函数将线性组合映射到(0,1)区间： $$P(y=1|x) = \frac{1}{1+e^{-(w^Tx + b)}}$$ 似然函数为： $$L(w,b) = \prod_{i=1}^n P(y_i|x_i)^{y_i}(1-P(y_i|x_i))^{1-y_i}$$ 通过负对数似然得到损失函数： $$J(w,b) = -\sum_{i=1}^n [y_i \log P(y_i|x_i) + (1-y_i)\log(1-P(y_i|x_i))]$$ 通过梯度下降求解参数[^4]。 #### 二、随机森林 1. **Bagging算法**： 从原始数据集中进行$B$次有放回采样，生成$B$个子数据集。 2. **特征随机性**： 每棵决策树分裂时，随机选择$m$个特征（通常$m = \sqrt{p}$，$p$为总特征数）。 3. **预测公式**： 分类任务中，最终结果为多数投票： $$\hat{y} = \text{mode}\{T_b(x)\}_{b=1}^B$$ 回归任务中为均值： $$\hat{y} = \frac{1}{B}\sum_{b=1}^B T_b(x)$$ 通过特征重要性评估变量贡献[^1]。 #### 三、Adaboost 1. **权重更新机制**： 初始样本权重$D_1(i)=1/N$，第$t$轮迭代中： - 训练弱分类器$h_t(x)$，计算加权错误率： $$\epsilon_t = \sum_{i=1}^N D_t(i) \cdot I(y_i \neq h_t(x_i))$$ - 计算分类器权重： $$\alpha_t = \frac{1}{2}\ln\left(\frac{1-\epsilon_t}{\epsilon_t}\right)$$ - 更新样本权重： $$D_{t+1}(i) = \frac{D_t(i) \cdot e^{-\alpha_t y_i h_t(x_i)}}{Z_t}$$ 其中$Z_t$为归一化因子。 最终预测结果为加权投票： $$H(x) = \text{sign}\left(\sum_{t=1}^T \alpha_t h_t(x)\right)$$ 通过误差率动态调整样本权重[^2]。 #### 四、融合模型（Random Forest-Adaboost Ensemble） 将随机森林作为Adaboost的基学习器： 1. 每轮迭代中训练一个随机森林模型$h_t(x)$ 2. 根据错误率计算模型权重$\alpha_t$ 3. 最终预测为加权组合： $$H(x) = \sum_{t=1}^T \alpha_t h_t(x)$$ 通过集成进一步提升模型鲁棒性[^1][^2]。 --- ### Python实现代码（基于UCI信用数据集） #### 数据预处理 ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载UCI信用数据集（示例路径需替换） url = "https://archive.ics.uci.edu/ml/machine-learning-databases/statlog/german/german.data" df = pd.read_csv(url, sep=' ', header=None) # 划分特征与标签 X = df.iloc[:, :-1] y = df.iloc[:, -1].replace({1:0, 2:1}) # 转换为0/1标签 # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=42) # 标准化处理 scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) ``` #### 逻辑回归 ```python from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report lr = LogisticRegression(penalty='l2', C=1.0, max_iter=1000) lr.fit(X_train, y_train) y_pred_lr = lr.predict(X_test) print("逻辑回归结果：\n", classification_report(y_test, y_pred_lr)) ``` #### 随机森林 ```python from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(n_estimators=200, max_depth=10, min_samples_split=5) rf.fit(X_train, y_train) y_pred_rf = rf.predict(X_test) print("随机森林结果：\n", classification_report(y_test, y_pred_rf)) ``` #### Adaboost ```python from sklearn.ensemble import AdaBoostClassifier from sklearn.tree import DecisionTreeClassifier base_estimator = DecisionTreeClassifier(max_depth=3) ada = AdaBoostClassifier(base_estimator=base_estimator, n_estimators=50, learning_rate=0.8) ada.fit(X_train, y_train) y_pred_ada = ada.predict(X_test) print("Adaboost结果：\n", classification_report(y_test, y_pred_ada)) ``` #### 融合模型（加权投票） ```python from sklearn.ensemble import VotingClassifier # 定义各模型权重（根据验证集性能调整） ensemble = VotingClassifier(estimators=[ ('lr', lr), ('rf', rf), ('ada', ada) ], voting='soft', weights=[1, 2, 1.5]) # 软投票加权 ensemble.fit(X_train, y_train) y_pred_ens = ensemble.predict(X_test) print("融合模型结果：\n", classification_report(y_test, y_pred_ens)) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值