LR(逻辑回归)

数学公式与算法优化：从基本概念到高级方法
最新推荐文章于 2023-11-23 14:42:37 发布
最新推荐文章于 2023-11-23 14:42:37 发布
阅读量504 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 最优化方法
本文汇集数学公式与算法优化的知识点，深入探讨从基础概念到高级优化方法的过程。通过理解sigmoid函数及其性质，掌握概率分布与损失函数的联系，以及学习如何使用梯度下降法与高级优化算法如共轭梯度和BFGS来提升模型性能。

本系列文章用于汇集知识点，查漏补缺，面试找工作之用。数学公式较多，解释较少。

1.假设

2.sigmoid函数:

3.假设的含义：

4.性质：

5.找一个凸损失函数

6.可由最大似然估计推导出

单个样本正确预测的概率为

只是3两个式子合并在一起的表示方法

整个样本空间的概率分布为

取对数展开得，

作为损失函数，并且最小化它，则应改写为5式。

7.求解方法

最原始的方法，梯度下降法

先求导，并带入sigmoid表达式得

之后，参数更新为：

终止条件：

目前指定迭代次数。后续会谈到更多判断收敛和确定迭代终点的方法。

8.高级方法

共轭梯度

BFGS,L-BFGS

逻辑回归LR
山野村夫pro的专栏
08-11 236
一、模型函数 逻辑回归LR = 线性回归 + sigmoid 它是过去应用最广泛最流行的一种分类/排序算法， 虽然逻辑回归的名字是“回归”，但它是一种分类算法。 一般来说，不建议用线性回归做分类，因为线性回归的输出值可能远大于1或远小于0，而逻辑回归的输出压缩在区间[0，1] 线性回归：，其中= 1，线性回归对特征权重有很好的解释性。 sigmoid函数：，函数图像...
LR（Logistic Regression）逻辑回归模型
zly_ir的博客
03-06 2581
LR模型是一个传统的分类模型，常用于二分类任务，属于有监督的学习模型，也是工业界常用的一种分类方式。
每日一个机器学习算法——LR(逻辑回归)
weixin_33801856的博客
08-17 125
本系列文章用于汇集知识点，查漏补缺，面试找工作之用。数学公式较多，解释较少。 1.假设 2.sigmoid函数: 3.假设的含义： 4.性质： 5.找一个凸损失函数 6.可由最大似然估计推导出 单个样本正确预测的概率为 只是3两个式子合并在一起的表示方法 整个样本空间的概率分布为 取对数展开得， 作为损失函数，并且最小化它，则应改写为5式。 ...
【算法岗求职笔记】逻辑回归（Logistic Regession，LR） · 十问十答
AI蜗牛车
04-01 1418
前言废话少说，机器学习第二篇为了能够持续更新和添加新的知识点，以及修改错误，建立了一个repo，欢迎大家来个star或者推荐给需要的朋友：https://github.com/chehongshu/machine-learning-interview-chinese理论推荐观看https://zhuanlan.zhihu.com/p/74874291 （非常详细，公式偏多...
LR逻辑回归
qq_15821041的博客
06-23 476
1、为什么想到逻辑回归这种思想？ 逻辑回归的前身为线性回归，线性回归可能输出很大范围的数，如从负无穷到正无穷。线性回归的拟合不好，比如无法抗噪声、无法消除冒尖变量的影响。所以在线性回归的基础上进行提升，将线性回归输出的数压缩到0-1之间，这样输出的值可被解释为“可能性”。实现这种功能只要在输出加一个logistic函数。（LR属于广义线性回归模型） ∑i=0ni2=(n2+n)(2n+1)6\s
逻辑回归（LR）
01-10 361
文章目录一、推导过程二、参考 一、推导过程 假设要解决的问题是一个二分类问题，目标值为 {0,1}\{0, 1\}{0,1}，以线性回归为基础，将模型输出映射到 [0,1][0, 1][0,1] 之间。我们选择这样一个函数： g(z)=11+e−zhθ(x)=g(θTx)=11+e−θTx g(z) = \frac{1}{1 + e^{-z}} \\ h_\theta(x) = g(\theta^...
机器学习 LR逻辑回归算法
02-18
标题中的“机器学习 LR逻辑回归算法”指的是在机器学习领域广泛应用的一种分类算法——逻辑回归（Logistic Regression）。逻辑回归虽然名字中含有“回归”，但实际上它是一种二分类或多元分类的模型，尤其适合处理...
LR逻辑回归Demo
12-15
逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的...
Python实现LR逻辑回归多输入分类预测（含完整的程序和代码详解）
10-20
内容概要：本文详细介绍了如何使用Python实现逻辑回归多输入分类预测，包括数据准备、模型实现、评估以及基于Tkinter构建的用户界面设计。具体涵盖了支持多特征输入、处理二分类和多分类问题、使用Scikit-learn库...
LR逻辑回归.pdf
01-11
逻辑回归是一种广泛应用于统计学、机器学习和数据分析领域的分类算法，它属于监督学习范畴中的二分类问题。尽管名为回归，但逻辑回归并不是用来做回归分析的，而是用来处理分类问题，尤其是二分类问题。逻辑回归虽然...
逻辑回归：LR
未名湖畔的落叶
10-08 467
  逻辑回归简单说就是将数据拟合到一个logisticlogisticlogistic函数中，从而能够完成对事件发生的概率进行预测。虽然名字叫做回归，但是其实质上却是一个分类问题，主要适用于二分类。   逻辑回归算法速度快，适合二分类问题，容易理解，可直接看到各特征的权重，而且很容易更新模型吸收新的数据，但是对数据和场景的适应能力有局限性，不如决策树算法适应性那么强。   注：这里我就不讲逻辑回归...
逻辑回归算法LR
u010569893的博客
06-21 760
逻辑回归算法LR 逻辑回归相信很多人都很熟悉，这个算法科能不如随机森林、SVM、神经网络、GBDT等分类算法那么复杂那么高深，但是绝不能小瞧这个算法，因为这个这个算法有几个优点是那几个算法无法达到的，一是逻辑回归算法已经比较成熟，预测较为准确；二是模型求出的系数易于理解，便于解释，不属于黑盒模型，尤其在金融业，80%的预测是使用逻辑回归；三是结果是概率值，可以做ranking model; 四是训...
逻辑回归算法的原理及实现(LR)
PigLisong的专栏
12-22 1844
蓝鲸的网站分析笔记 记录网站分析实践,分享Google Analytics应用与技巧 首页 关于作者 网站分析库   逻辑回归算法的原理及实现(LR) 2016年5月18日 BY 蓝鲸 3 COMMENTS 逻辑回归(Logistic Regression, LR)又称为逻辑回归分析，是分类和预测算
4、逻辑回归(LR)
m0_56642803的博客
11-23 700
本文逻辑回归，整理总结了逻辑回归原理、损失函数（损失函数推导、二分类交叉熵推导、sklearn中逻辑回归）、多分类的算法原理、优缺点等
线性分类（三）-- 逻辑回归 LR
CarpeDiem
12-09 2258
逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。为了实现逻辑回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和带入sigmoid函数中，进而得到一个范围在0-1之间的数值，最后设定一个阈值，在大于阈值时判定为1，否则判定为0。
机器学习——逻辑回归（LR）
2301_78630677的博客
09-07 1780
在机器学习的分类算法中，逻辑回归是一个基础的分类算法，本文将简单介绍一下逻辑回归算法。本文从逻辑回归算法的原理介绍到代码实现中的回归模型的构建以及混淆矩阵和分类报告的介绍，还有对分类结果的可视化。详细介绍了LR算法，还有最后的先划分数据集再降维还是先降维再划分数据集的讨论。 明月几时有，把酒问青天 --2023-9-5 筑基篇
【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
热门推荐
Mr_Robert的博客
03-29 1万+
逻辑回归(LR)算法概述 逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。 逻辑回归算法原理 预测函数和决策边界 逻辑回归的预测函数可以表示为： 举一个例子，假设我们有许多样本，并在图中表示出来了，并且假设我们已经通过某种方法求出了LR模型的参数（如下图）： 这时，直线上方所...
广告算法LR逻辑回归
最新发布
03-31
### 广告点击率预测中逻辑回归的应用 逻辑回归是一种广泛应用于分类问题的统计学模型，在广告点击率（CTR，Click-Through Rate）预测领域具有重要地位。以下是关于其概念、实现方法及其在广告算法中的具体应用。 #### 1. 逻辑回归的核心原理 逻辑回归通过sigmoid函数将线性组合的结果映射到(0,1)区间，从而表示事件发生的概率[^1]。对于二分类问题，假设输入特征向量为 \( \mathbf{x} \)，权重向量为 \( \mathbf{w} \)，偏置为 \( b \)，则逻辑回归的概率估计可以写成： \[ P(y=1|\mathbf{x}) = \frac{1}{1 + e^{-(\mathbf{w}^\top \mathbf{x} + b)}} \] 该模型的目标是最小化损失函数，通常采用对数似然损失加上正则化项来防止过拟合[^2]。 --- #### 2. 特征工程的重要性 在广告点击率预测场景下，原始数据可能包含大量类别型变量（如用户ID、广告ID）。为了提高模型的表现力，常需对这些离散特征进行处理。一种常见的方式是对它们进行 **独热编码 (One-Hot Encoding)** 或者嵌入降维操作[^3]。例如： ```python import pandas as pd from sklearn.preprocessing import OneHotEncoder # 假设 df 是一个 DataFrame，其中 'user_id' 和 'ad_id' 需要被编码 encoder = OneHotEncoder(sparse=False) encoded_features = encoder.fit_transform(df[['user_id', 'ad_id']]) df_encoded = pd.DataFrame(encoded_features, columns=encoder.get_feature_names_out(['user_id', 'ad_id'])) ``` 这种转换能够使模型更好地捕捉不同类别的独立贡献。 --- #### 3. 模型训练与优化 针对大规模数据集，逻辑回归可以通过多种优化器解决参数更新问题。常用的有随机梯度下降(SGD)、L-BFGS等。下面是一个基于 `sklearn` 的简单实现示例： ```python from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score # 数据准备 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 初始化逻辑回归模型 model = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000) # 训练模型 model.fit(X_train, y_train) # 测试模型性能 y_pred_proba = model.predict_proba(X_test)[:, 1] auc_score = roc_auc_score(y_test, y_pred_proba) print(f"AUC Score: {auc_score:.4f}") ``` 上述代码片段展示了如何使用 L2 正则化的逻辑回归，并评估 AUC 性能指标。 --- #### 4. 参数调整与网格搜索 为了进一步提升模型表现，可借助网格搜索寻找最佳超参数配置。以下是一段示例代码： ```python from sklearn.model_selection import GridSearchCV param_grid = { 'C': [0.01, 0.1, 1, 10], # C 表示正则化强度的倒数 'solver': ['liblinear', 'lbfgs'] } grid_search = GridSearchCV(LogisticRegression(), param_grid, cv=5, scoring='roc_auc') grid_search.fit(X_train, y_train) best_params = grid_search.best_params_ print(f"Best Parameters: {best_params}") final_model = grid_search.best_estimator_ y_final_pred_proba = final_model.predict_proba(X_test)[:, 1] final_auc_score = roc_auc_score(y_test, y_final_pred_proba) print(f"Final AUC Score with Best Params: {final_auc_score:.4f}") ``` 此部分重点在于探索不同的正则化强度和求解器选项，以获得更优的效果。 --- #### 5. 处理高阶多项式特征的影响 如果希望引入更高维度的信息，则可通过增加多项式特征扩展原空间[^4]。然而需要注意的是，随着次数升高可能会引发过拟合现象；因此建议配合正则化手段加以控制。 ```python from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2, include_bias=False) X_poly = poly.fit_transform(X) estimator_l2 = LogisticRegression(C=0.005, penalty='l2', solver='lbfgs', max_iter=1000) estimator_l2.fit(X_poly, y) ``` 此处展示了一个简单的二次多项式的构建过程，并结合了 L2 正则化抑制复杂模式带来的负面影响。 --- ### 结论 综上所述，逻辑回归凭借其实现简便性和高效解释能力成为广告点击率预测的重要工具之一。通过对特征的有效加工以及合理设置惩罚因子等方式，可以在实际业务环境中取得良好的泛化效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值