ML算法——逻辑回归（LR）

最新推荐文章于 2024-08-21 19:09:39 发布
最新推荐文章于 2024-08-21 19:09:39 发布
阅读量789 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ML 文章标签： LR ML 分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangwenliu/article/details/81214074
逻辑回归是一种基于线性回归的分类模型，通过将线性回归的连续输出转化为离散类别。它使用sigmoid函数将预测值映射到（0,1）区间，适用于二分类问题，可以作为概率预测。训练时，逻辑回归采用极大似然估计优化参数，常见的优化算法包括梯度下降法和牛顿法。因其简单易用和高效，逻辑回归在机器学习中扮演了基础角色。" 127507178,9640242,C语言循环结构编程实践,"['C语言', '算法', '编程实践']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

逻辑回归是一种用于分类任务的线性模型，它是建立在线性回归的基础上，通过将线性回归模型的结果利用一个函数映射到离散值上来实现分类的。线性回归试图学得一个通过样本属性的线性组合来进行预测的函数，即

<div align=center>

                       (1)

向量形式写成

fx=wx+b                              (2)

线性回归产生的预测值为实值z=wx+b，逻辑回归通过一个单调可微函数将分类样本的标签与该实值联系起来，例如在二分类任务中的sigmoid函数

                              (3)

该函数图像如下

从图中可以看出，该函数将线性回归预测的结果映射到（0，1）范围内，从而可以设定阈值（例如0.5）来判断二分类的类别，并且由于该函数的特点，它还能得到近似概率预测。

逻辑回归的训练过程就是根据训练氧泵确定参数w和b的过程，通常采用极大似然法来估计，即令每个样本属于其真实标记的概率越大越好。根据似然函数可以得到其损失函数，通常采用迭代的方法，求解使损失函数最小的参数w和b，在这个过程中，可以使用一些数值优化算法，如梯度下降法和牛顿法等。

逻辑回归是一种基础的线性机器学习模型，形式简单，易于建模，训练速度快。

机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）
weixin_34320724的博客
10-29 6117
  　　前言： 　　找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。 　　纵观IT行业的招聘岗位，机器学习之类的岗位还是...
ML 算法总结
zxcqqzxc1的博客
06-26 3865
** K近邻法（K-nearest neighbor, k-NN） ** 是一种基本的分类与回归方法 输入：训练数据集 输出：实例x所属的类y k值得选择会对k近邻法结果产生重大影响。应用中，k值一般取一个比较小的数值。通常采取交叉验证法来选取最优k值 决策树（Decision tree） 是一种基本的分类与回归方法，常用算法有ID3、C4.5与CART 决策树学习通常包括3个步骤：特征选择、决策树生成和决策树的修剪。 1、通常使用信息增益最大、信息增益比最大或基尼系数最小作为特征选择的准则。 2、决策树
ML的常用算法整理
musks的博客
09-08 1253
ML有一些常用的算法，有一些大牛写的很好，就收藏了，收藏的差不多了再整理LR（logistics Regression）逻辑回归梯度（Gradient Decent） http://www.cnblogs.com/pinard/p/5970503.htmlSVM 大神 july 的作品 http://blog.youkuaiyun.com/v_july_v/article/details/7624
ML算法——逻辑回归随笔【机器学习】
cold的博客
06-11 1978
计算假阳率的方法是，将预测为正例的样本数量除以所有的负例样本数量。在实际应用中，假阳率高的模型可能会导致过多的误判，因此需要尽可能降低模型的假阳率。假阳率主要出现在分类问题中。在评估分类模型的性能时，假阳率是一个重要的指标，特别是在模型应用于关键决策时。例如，在医疗诊断中，高假阳率可能会导致对病人进行不必要的治疗或手术，因此需要尽可能降低模型的假阳率。Logic Regression (LR)，逻辑回归的因变量是二分类的，而不是连续的。参照线性回归中的θ，这里的θ也是个向量，涵盖所有提到过的θ分量，θ=
ML大杂烩:**常见机器学习算法公式梳理
wishchinYang的专栏
12-05 7336
找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个。本文写出常见데机器学习데公式表示：1.朴素贝叶斯；2. 决策树；3.Logisitic回归；4. 线性回归 ； 5.KNN算法 ；6. SVM算法； 7.Boosting算法； 8. 聚类公式； 9. 10. pLSA 浅语义分析-SVD分解； 11.LDA-隐式狄利克雷; 12. GBDT ；13. 正则化； 14.离群点检测； 15.EM算法 ； 16. Apriori关联分析; 17.F
回归与聚类算法————分类算法-逻辑回归与二分类
zcolaz的博客
03-21 1279
1、逻辑回归的应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器 2、 逻辑回归的原理 2.1 输入 线性回归的输出是逻辑回归的输入 2.2 激活函数 sigmoid函数 线性回归的结果输入到sigmoid函数当中，得到逻辑回归的输出 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值 通过设定阈值，将回归任务转化为分类问题 2.3 损失以及优化
ML实践——逻辑回归logistic regression
hallao0的博客
07-26 2215
原理从图中可以看出与perceptron的异同：logistic regression model: perceptron: 简单地说把Sigmoid function用作activation function。ϕ(z)=11+e−z \phi(z) = \frac{1}{1+e^{-z}} ϕ(z)=z\phi(z) = z Advantages: 1. Sigmoid function
机器学习——逻辑回归(分类算法）、聚类算法
weixin_46489969的博客
04-11 2506
模型的保存与加载 from sklearn,externals import joblib joblib.dump(rf,'test.pkl')——保存 estimator = joblib.load('test.pkl')——加载 #### 保存训练好的模型 joblib.dump(lr,'./tmp/test.pkl') #### 预测房价结果 model = joblib.load('./tmp/test.pkl') y_predict = std_y.inverse...
机器学习二元Logistic回归算法——原理+python详细代码解析（sklearn）
qq_45932996的博客
08-21 1822
前面讲述的线性回归算法要求因变量是连续变量，但很多情况下因变量是离散而非连续的。例如，预测下雨的概率，是下雨还是不下雨；预测一笔贷款业务的资产质量，包括正常、关注、次级、可疑、损失等。Logistic回归算法可以有效地解决这一问题，它包括二元Logistic回归算法、多元Logistic回归算法等。当因变量只有两种取值，比如下雨、不下雨时，则使用二元Logistic回归算法来解决问题
机器算法基础——回归分析
weixin_39736118的博客
10-14 728
机器算法基础——回归分析，KMeans等
ML算法——最优化|凸优化随笔【机器学习】【端午节创作】
cold的博客
06-24 1625
重点是梯度下降法，利用一阶导数，而二阶导数涉及到海森矩阵，具有较大的计算量，因此，往往采用梯度下降算法。
ML算法推导细节01—逻辑回归LR
malele4th
05-06 955
目录欢迎使用Markdown编辑器 欢迎使用Markdown编辑器 的的
ML（4）——逻辑回归
weixin_30296405的博客
06-29 151
　　Logistic Regression虽然名字里带“回归”，但是它实际上是一种分类方法，“逻辑”是Logistic的音译，和真正的逻辑没有任何关系。 模型 线性模型 　　由于逻辑回归是一种分类方法，所以我们仍然以最简的二分类为例。与感知机不同，对于逻辑回归的分类结果，y ∈ {0, 1}，我们需要找到最佳的hθ(x)拟合数据。 　　这里容易联想到线性回归。线性回归也可以用于分类，但是很...
优秀算法博客汇总
stranger_man的博客
10-13 1579
决策树 - 参考：decision Tree（Python 实现） http://blog.youkuaiyun.com/dream_angel_z/article/details/45965463 SVM 支持向量机 - 参考：pluskid 支持向量机三重境界 http://blog.pluskid.org/?page_id=683 Adaboost - 参考：组合算法 - Adaboost ...
ML算法基础——分类算法（朴素贝叶斯）
muguangjingkong的博客
05-31 557
文章目录朴素贝叶斯算法1、概率基础2、朴素贝叶斯介绍3.朴素贝叶斯算法案例3.1 sklearn朴素贝叶斯实现API3.2 sklearn-20类新闻分类3.3 朴素贝叶斯案例流程4.朴素贝叶斯分类特点总结 朴素贝叶斯算法 1、概率基础 联合概率:包含多个条件，且所有条件同时成立的概率 记作: P(A, B) 条件概率:就足事件A在另外一个事件B已经发生条件下的发生概率 记作:P(A|B) 特性: P(A1,A2|B)= P(A1|B)P(A2|B) 注意:此条件概率的成立，是由于A1,A2相互独立的结果
ML算法基础——分类算法-决策树、随机森林
muguangjingkong的博客
05-31 736
文章目录1.决策树1.1 认识决策树1.2 信息论基础-银行贷款分析1.2.1 信息论基础-信息熵1.2.2 决策树的划分依据之一-信息增益1.3 泰坦尼克号乘客生存分类1.3.1 sklearn决策树API1.3.2 泰坦尼克号乘客生存分类模型1.4 决策树的结构、本地保存1.4.1 导出DOT格式1.4.2 安装graphviz1.4.3 运行命令1.5 决策树的优缺点以及改进2.集成学习方法-随机森林2.1 随机森林简述2.2 集成学习API2.3 泰坦尼克号乘客生存分类分析2.4 随机森林的优点 1
【ML算法】无监督学习——K-means聚类
roguesir的博客
11-25 1831
前言 这一系列文章将介绍各种机器学习算法，部分算法涉及公示推导，我的博客中有另一个板块介绍基于python和R实现各种机器学习算法，详情见置顶的目录。 K-means算法 聚类算法是一种无监督的机器学习算法，通过距离测度实现样本点的归类，算法的最终目的是使得聚簇内部样本点相似度最大，聚簇间样本点相似度最小，常见的聚类算法有k-means聚类、层次聚类、DBCAN聚类等，本文介绍K-mea...
ML算法基础-朴素贝叶斯
weixin_47193541的博客
04-23 443
先占个坑，笔记未整理完 Content相关概念生成模型判别模型先验概率，后验概率与条件概率贝叶斯决策理论下溢问题如何解决 相关概念 生成模型 生成模型：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），...
ML算法基础——回归算法-线性回归分析
muguangjingkong的博客
06-04 1044
文章目录1.回归问题1.1 线性模型1.2 线性回归1.3 损失函数(误差大小)1.4 sklearn线性回归正规方程、梯度下降API1.5 波士顿房价数据案例分析1.6 回归性能评估1.7 LinearRegression与SGDRegressor评估2.过拟合与欠拟合2.1 概念2.2 欠拟合原因以及解决办法2.3 过拟合原因以及解决办法2.4 L2正则化2.5 带有正则化的线性回归-Ridge2.6 LinearRegression与Ridge对比 1.回归问题 1.1 线性模型 试图学得一个通过属性
生成逻辑回归模型，随机森林模型，Adaboost模型以及随机森林——Adaboost融合模型各个模型的详细的，容易理解的数学理论；以及给我关于逻辑回归模型，随机森林模型，Adaboost模型以及随机森林——Adaboost融合模型实验的python代码，代码要可以正常运行，可以用UCI数据集信贷数据集类型的数据代替，但是你给我的代码一样要可以正常的运行。对于上述你在给我答案的时候，答案一定要深入，详细，容易理解。请回答我的所有问题给我完整的答案
最新发布
03-13
<think>好的，我现在需要帮用户解决关于逻辑回归、随机森林、Adaboost以及它们的融合模型的数学理论详解和Python代码的问题。首先，我得理清楚每个算法的数学原理，然后组织成用户能理解的中文解释。接下来，要编写可运行的代码，特别是基于UCI信用数据集的实现。同时，用户还提到了融合模型，这里可能需要将随机森林和Adaboost结合起来，比如用随机森林作为基学习器的Adaboost集成，或者用两者的预测结果进行堆叠。 首先，处理数学理论部分。逻辑回归的核心是sigmoid函数和最大似然估计。需要解释清楚逻辑回归如何将线性回归的结果映射到概率，以及损失函数的推导。随机森林则涉及决策树、装袋法（bagging）和特征随机选择。Adaboost的要点在于加权训练样本和弱分类器的组合，特别是权重更新的公式。 然后，融合模型部分。用户提到的Random Forest-Adaboost ensemble可能需要进一步明确。通常，融合方法有投票法、堆叠法等。这里可能需要将随机森林和Adaboost作为基模型，再通过某种方式（如元分类器）进行融合。或者，可能是指使用Adaboost来提升随机森林的效果，但需要确认具体结构。可能需要参考已有的融合方法，比如用Adaboost来组合多个随机森林模型，或者反过来。 接下来是代码部分。UCI信用数据集可能需要先进行数据预处理，比如处理缺失值、标准化、划分训练测试集。然后分别实现逻辑回归、随机森林、Adaboost，最后是融合模型。对于融合模型，可能需要使用VotingClassifier或StackingClassifier。需要注意参数设置和评估指标，如准确率、召回率、F1值等。 需要检查引用的文献是否有相关代码或理论支持。比如引用[1]中的随机森林调优参数，引用[2]中的Adaboost多分类模型，引用[3]中的SVM和KNN对比，引用[4]中的Hold-Out方法。这些引用可能在模型训练、评估或数据划分时用到。 可能遇到的问题包括数据集的加载是否正确，特征工程是否需要调整，模型超参数如何设置，以及融合模型的具体实现方式。需要确保代码的可运行性，比如导入正确的库，处理可能的错误，如缺失值处理，特征缩放等。 最后，生成相关问题时要考虑用户可能想进一步了解的内容，如模型的优缺点、调参方法、其他融合策略等。需要确保问题与当前主题相关，并且能引导用户深入探索。 现在，按照用户的要求，结构需要分数学原理、Python实现、相关问题三个部分。数学原理要详细但不过于复杂，代码要完整并附有解释。融合模型部分可能需要更详细的解释，确保用户理解其工作机制。同时，引用文献中的内容要自然地融入回答，比如在交叉验证部分引用[4]，在Adaboost部分引用[2]等。 总结下来，步骤是： 1. 分算法详细讲解数学原理。 2. 编写每个算法的Python代码，并整合融合模型。 3. 确保代码基于UCI数据集，处理数据预处理。 4. 添加相关引用到合适的位置。 5. 生成相关问题，促进进一步学习。</think>### 数学理论详解 #### 一、逻辑回归 1. **核心公式**： 使用sigmoid函数将线性组合映射到(0,1)区间： $$P(y=1|x) = \frac{1}{1+e^{-(w^Tx + b)}}$$ 似然函数为： $$L(w,b) = \prod_{i=1}^n P(y_i|x_i)^{y_i}(1-P(y_i|x_i))^{1-y_i}$$ 通过负对数似然得到损失函数： $$J(w,b) = -\sum_{i=1}^n [y_i \log P(y_i|x_i) + (1-y_i)\log(1-P(y_i|x_i))]$$ 通过梯度下降求解参数[^4]。 #### 二、随机森林 1. **Bagging算法**： 从原始数据集中进行$B$次有放回采样，生成$B$个子数据集。 2. **特征随机性**： 每棵决策树分裂时，随机选择$m$个特征（通常$m = \sqrt{p}$，$p$为总特征数）。 3. **预测公式**： 分类任务中，最终结果为多数投票： $$\hat{y} = \text{mode}\{T_b(x)\}_{b=1}^B$$ 回归任务中为均值： $$\hat{y} = \frac{1}{B}\sum_{b=1}^B T_b(x)$$ 通过特征重要性评估变量贡献[^1]。 #### 三、Adaboost 1. **权重更新机制**： 初始样本权重$D_1(i)=1/N$，第$t$轮迭代中： - 训练弱分类器$h_t(x)$，计算加权错误率： $$\epsilon_t = \sum_{i=1}^N D_t(i) \cdot I(y_i \neq h_t(x_i))$$ - 计算分类器权重： $$\alpha_t = \frac{1}{2}\ln\left(\frac{1-\epsilon_t}{\epsilon_t}\right)$$ - 更新样本权重： $$D_{t+1}(i) = \frac{D_t(i) \cdot e^{-\alpha_t y_i h_t(x_i)}}{Z_t}$$ 其中$Z_t$为归一化因子。 最终预测结果为加权投票： $$H(x) = \text{sign}\left(\sum_{t=1}^T \alpha_t h_t(x)\right)$$ 通过误差率动态调整样本权重[^2]。 #### 四、融合模型（Random Forest-Adaboost Ensemble） 将随机森林作为Adaboost的基学习器： 1. 每轮迭代中训练一个随机森林模型$h_t(x)$ 2. 根据错误率计算模型权重$\alpha_t$ 3. 最终预测为加权组合： $$H(x) = \sum_{t=1}^T \alpha_t h_t(x)$$ 通过集成进一步提升模型鲁棒性[^1][^2]。 --- ### Python实现代码（基于UCI信用数据集） #### 数据预处理 ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载UCI信用数据集（示例路径需替换） url = "https://archive.ics.uci.edu/ml/machine-learning-databases/statlog/german/german.data" df = pd.read_csv(url, sep=' ', header=None) # 划分特征与标签 X = df.iloc[:, :-1] y = df.iloc[:, -1].replace({1:0, 2:1}) # 转换为0/1标签 # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=42) # 标准化处理 scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) ``` #### 逻辑回归 ```python from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report lr = LogisticRegression(penalty='l2', C=1.0, max_iter=1000) lr.fit(X_train, y_train) y_pred_lr = lr.predict(X_test) print("逻辑回归结果：\n", classification_report(y_test, y_pred_lr)) ``` #### 随机森林 ```python from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(n_estimators=200, max_depth=10, min_samples_split=5) rf.fit(X_train, y_train) y_pred_rf = rf.predict(X_test) print("随机森林结果：\n", classification_report(y_test, y_pred_rf)) ``` #### Adaboost ```python from sklearn.ensemble import AdaBoostClassifier from sklearn.tree import DecisionTreeClassifier base_estimator = DecisionTreeClassifier(max_depth=3) ada = AdaBoostClassifier(base_estimator=base_estimator, n_estimators=50, learning_rate=0.8) ada.fit(X_train, y_train) y_pred_ada = ada.predict(X_test) print("Adaboost结果：\n", classification_report(y_test, y_pred_ada)) ``` #### 融合模型（加权投票） ```python from sklearn.ensemble import VotingClassifier # 定义各模型权重（根据验证集性能调整） ensemble = VotingClassifier(estimators=[ ('lr', lr), ('rf', rf), ('ada', ada) ], voting='soft', weights=[1, 2, 1.5]) # 软投票加权 ensemble.fit(X_train, y_train) y_pred_ens = ensemble.predict(X_test) print("融合模型结果：\n", classification_report(y_test, y_pred_ens)) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值