python手撸线性回归（二）theta0不需要正则化

最新推荐文章于 2023-01-26 12:37:06 发布
最新推荐文章于 2023-01-26 12:37:06 发布
阅读量3.7k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 python 文章标签： 机器学习 python 正则化 theta0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sun_shengyun/article/details/53750153
本文探讨了机器学习中线性回归正则化项是否包含θ0的问题，并通过实验证明，无论是否对θ0进行惩罚，最终模型参数的变化都非常小。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在上一篇关于线性回归的文章中，python手撸线性回归及参数解释，我们可以看到正则化项中并没有theta0二是从theta1开始的，In[7]的第三行



Andrew在其机器学习课程中对此的解释是，按照惯例来讲，不去对θ0进行惩罚， 因此 θ0 的值是大的 这就是一个约定， 但其实在实践中这只会有非常小的差异 ，无论你是否包括θ0这项，结果只有非常小的差异，下边我们通过实验来证明，正则化项是否包含θ0对最后结果的影响很小。

下边分别是对theta0不进行正则化和进行正则化的结果，最终theta取值为

('theta: ', array([-3.82872504,  1.186267 ]))

('theta: ', array([-3.89374994,  1.19278475]))

可见差异非常小


机器学习----线性回归、逻辑回归、线性回归正则化、逻辑回归正则化底层代码
m0_47405013的博客
11-17 887
函数封装 1.线性回归模型函数 #模型 def model(x,theta): return x.dot(theta 2.代价函数 #代价函数 def cost(h,y): # return 1/(2*m)*(np.sum(h-y))**2 J=1/(2*m)*(h-y).T.dot(h-y) return J 3.梯度下降函数 #梯度下降函数 def tidudecline(x,y,alpha,nums): m, n = x.shape #如果为单变量线
正则化逻辑回归-python实现
CltCj的博客
08-29 5725
机器学习 第一章：机器学习基础 第二章：线性回归 第三章：逻辑回归 第四章：BP 神经网络 第五章：卷积神经网络 第六章：循环神经网络 第七章：决策树与随机森林 第八章：支持向量机 第九章：隐马尔科夫 第十章：聚类等算法 ... 正则化逻辑回归-python实现机器学习前言一、基础概念二、构造损失函数三、梯度下降法求解最小值四、正则化逻辑回归总结 基于吴恩达机器学习的习题 逻辑回归github地址 前言 机器学习是从人工智能中产生的一个重要学科分支，是实现智能化的关键 一、基础概念   逻辑回归
L2正则化python实现案例(附代码)
02-09
L2正则化python实现案例(附代码)，含图形展示，对于正则化理解又直观帮助
《python机器学习从入门到高级》：线性回归和正则化（含源码）
阿里云专家博主、数据科学领域优质创作者、统计er在读
05-19 1690
🍎《python机器学习从入门到高级》：线性回归和正则化 ✨本文收录于《python机器学习从入门到高级》专栏，此专栏主要记录如何使用python实现机器学习模型，尽量坚持每周持续更新，欢迎大家订阅！ 🌸个人主页：JoJo的数据分析历险记 📝个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生 💌如果文章对你有帮助，欢迎✌关注、👍点赞、✌收藏、👍订阅专栏 本专栏主要从代码角度介绍如何使用python实现机器学习算法,想要了解具体机器学习理论的小伙伴，可以看我的这个专栏：统计学习方法
线性回归及正则化总结，python实现，非sklearn
qq_53383206的博客
01-26 1179
基于pytorch自动求导实现线性回归，总结实现L1、L2、eElasticNet三种基本正则化，缓解过拟合
线性回归的正则化实例及模型判定
time
09-08 590
吴恩达正则化课程的课后作业python实现 from scipy.io import loadmat import pandas as pd import matplotlib.pyplot as plt import numpy as np # =========== part 1 : load data ================= data = loadmat('ex5d...
第二章： 多变量线性回归
PyBigStar的博客
02-18 1295
多变量 其实多变量就是多增加了几个特征变量。本质上和单变量线性回归是一样的，单变量线性回归中theta0可以看做是乘上了x0，而x0恒等于1，这样也就可以把单变量也看做是多变量。例如下面这个例子： 想要更加准确地预测房价就需要多考虑几个因素。 这里有几点需要注意的：学习了多变量之后因为元素较多，所以最好使用向量，矩阵乘法对其进行表示。 多元梯度下降 这是单变量和多变量的梯度算法对比图，其实从中可以...
线性回归和正则化，最后实现不用sklearn的Softmax分类
weixin_44391984的博客
09-07 749
看机器学习实战的记录，最后实现softmax分类器（批量gradient descend）的手动实现（不用sklearn）
吴恩达机器学习之正则化：过拟合的问题、代价函数、正则化线性回归、正则化的逻辑回归模型（详细笔记，建议收藏，已有专栏）
汪雯琦的博客
03-16 1398
吴恩达机器学习栏目清单 专栏直达：https://blog.youkuaiyun.com/qq_35456045/category_9762715.html 文章目录
python使用梯度下降方法实现线性回归算法_python实现线性回归梯度下降算法
weixin_39608680的博客
03-02 1372
梯度下降模型线性回归公式推导查看梯度下降公式推导查看伪代码：读取数据(查看数据分布)拆分正负数据集实现逻辑回归算法建立分类器设定阈值，根据阈值完成数据结果sigmoid:映射到概率的函数model:返回预测结果值cost:根据参数计算损失gradient:计算每个参数的梯度方向descent:进行参数更新accuracy：计算精度优化及比较梯度下降处理原则首先优化数据，如归一化处理等然后优化模型，...
python中theta_Python | 在图标签中添加Theta
07-26 4083
python中thetaTheta (????) is very often used greek mathematical letters and has a higher repetition in probability. In this article, we are going to add ???? using a command in matplotlib. Theta(????)是非常常用的希腊数...
python机器学习案例系列教程——线性函数、线性回归、正则化
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
12-29 1万+
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 在了解线性函数前，先来了解一下线性回归和逻辑回归的区别。线性回归为估值而生，逻辑回归而分类而生。比如我们根据根据一家企业的运营质量、盈利、运营时间等来对企业进行估值，这属于估值问题，如果存在线性关系，属于线性回归问题。再比如我们对验证码图片进行识别，将图片通过线性函数也产生了一列值，但是我们的目的是为了识别图片...
机器学习实战：单变量线性回归的实现
热门推荐
xiazdong
09-06 1万+
一、算法实现 由前面的理论，我们知道了用梯度下降解决线性回归的公式： 梯度下降解决线性回归思路： 算法实现： ComputeCost函数： function J = computeCost(X, y, theta) m = length(y); % number of train
最小二乘法关于$\theta_0,\theta_1$是正定的吗？+ 4 个样本形成的正定损失函数
fgh123的博客
12-27 334
似乎是的！ 因为课本上面求解就是直接求驻点，然后算到最小值的！
机器学习中的规则化范数(L0, L1, L2, 核范数)
weixin_34217773的博客
05-05 1451
目录： 一、L0，L1范数 二、L2范数 三、核范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 监督机器...
线性常微分方程(Ode)的theta-法(python)
seventonight的博客
05-22 2331
第四十七篇 线性常微分方程的theta-法 线性方程的θ-方法 迄今为止所描述的初值问题数值解的方法，只要它们是一阶导的，并以标准形式排列，适用于线性或非线性方程组。 如果微分方程是线性的，则可能采用的另一种方法为在每一步的开始和结束之间对导数进行线性插值。 一阶方程 考虑一阶线性方程 其中k(x)和l(x)是x的函数。 将x0和x1处的方程微分，距离为h，用简化的符号k(xi) = ki和l(xi) = li，得到 引入了可在此范围内变化的无量纲缩放参数θ 并写出一步法如下 参数θ作为梯度在步骤开
线性模型和非线性模型的区别，以及激活函数的作用
Geoff Blog
03-15 3178
线性模型和非线性模型的区别，以及激活函数的作用 线性模型和非线性模型的区别？ a. 线性模型可以用曲线拟合样本，线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如logistics模型（广义线性模型，将线性函数进行了一次映射）。 b. 区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x，那么此模型为线性...
山东大学机器学习实验五正则化线性回归和正则化逻辑回归
最新发布
04-03
### 关于正则化线性回归和正则化逻辑回归的实验指导 在实现正则化线性回归和正则化逻辑回归的过程中，通常会涉及以下几个核心部分： #### 数据准备 为了完成这些实验，首先需要下载 `ex5Data.zip` 并解压其中的内容[^1]。该压缩包包含了两组数据集：一组适用于线性回归的任务，而另一组则是为逻辑回归设计的数据。 #### 特征处理 对于逻辑回归任务，可能还需要使用到名为“映射特征.m”的辅助函数来扩展原始输入特征的空间。这一步骤有助于提高模型拟合复杂模式的能力。如果是在 Python 中实现，则可以通过 NumPy 或 Pandas 来构建类似的多项式特征矩阵。 #### 正则化线性回归实现 以下是基于 Python 的正则化线性回归的一个简单实现示例： ```python import numpy as np def compute_cost(X, y, theta, lambda_): m = len(y) h = X @ theta regularization_term = (lambda_ / (2 * m)) * np.sum(theta[1:] ** 2) cost = (1/(2*m)) * np.sum((h-y)**2) + regularization_term return cost def gradient_descent(X, y, theta, alpha, num_iters, lambda_): m = len(y) J_history = [] for _ in range(num_iters): error = X @ theta - y grad_theta = (X.T @ error) / m reg_term = (lambda_ / m) * theta reg_term[0] = 0 # 不对截距项应用正则化 theta -= alpha * (grad_theta + reg_term) J_history.append(compute_cost(X, y, theta, lambda_)) return theta, J_history ``` 上述代码实现了带有 L2 正则化的梯度下降方法，并通过调整参数 `lambda_` 控制正则化的强度。 #### 正则化逻辑回归实现 下面是针对正则化逻辑回归的部分代码片段： ```python from scipy.optimize import minimize def sigmoid(z): return 1 / (1 + np.exp(-z)) def log_reg_cost_function(theta, X, y, lambda_): m = len(y) h = sigmoid(X @ theta) base_cost = (-1/m) * (y.T @ np.log(h) + (1-y).T @ np.log(1-h)) reg_term = (lambda_ / (2 * m)) * np.sum(theta[1:]**2) return base_cost + reg_term def optimize_logistic_regression(X, y, initial_theta, lambda_): result = minimize( fun=log_reg_cost_function, x0=initial_theta, args=(X, y, lambda_), method='BFGS', options={'disp': True} ) return result.x ``` 这段代码定义了一个优化目标函数以及调用 SciPy 库中的最小化器来进行求解最优参数的过程。 #### 偏置计算补充说明 另外，在某些情况下可能会涉及到偏置（bias）的额外计算公式[^3]。虽然这里主要讨论的是正则化问题，但如果遇到特定场景下的偏差修正需求时也可以参考相关内容进行适当修改。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值