线性回归——梯度下降法

最新推荐文章于 2025-03-19 09:50:59 发布

Linkin_ygw

最新推荐文章于 2025-03-19 09:50:59 发布

阅读量709

点赞数

分类专栏：机器学习文章标签：线性回归-梯度下降

本文链接：https://blog.youkuaiyun.com/Linkin_ygw/article/details/70161131

版权

本文通过实例介绍了线性回归模型中利用梯度下降法进行参数优化的方法，包括批量梯度下降和随机梯度下降。批量梯度下降在数据集较大时可能收敛速度较慢，而随机梯度下降虽然不保证找到全局最优解，但能快速收敛到局部最优。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题引入

已知南京地区的一组数据：

面积	房间数	价格
2104	3	400
1600	3	330
2400	3	369
1416	2	232

现在来了一个新的房子，知道其面积和房间数，其价格应该是多少合适呢？
我们可以将面积和房间数看成是房子的两个特征，如何根据这些特征预测价格，需要建立其价格与特征之间的联系。我们设定价格与这些特征之间呈一个近似线性的关系，那么我们就需要找出一个线性函数h：

h θ (x) = θ 0 + θ 1 x 1 + θ 2 x 2

$h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2$
令

x0=1 $x_0=1$ ，那么上述公式就转化为

h (x) = \sum i = 0 m θ T x

$h(x)=\sum_{i=0}^m\theta^Tx$
现在，给出一组训练数据，如何找出最合适的

θ $\theta$ 呢？最合适的

θ $\theta$ 意味着根据

θ $\theta$ 计算出来的

h(x) $h(x)$ 与y最接近。于是我们定义误差函数：

J (θ) = 1 2 \sum

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Linkin_ygw

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

第11课：线性回归——梯度下降法求解目标函数

YeJuliaLi的博客

09-22

1014

y = a + bx 的目标函数上一篇文章，我们解释了线性，本文我们回到求解线性回归目标函数的问题上。前面已知，线性回归的目标函数为： $J(a,b) = \frac{1}{2m}\sum_{i=1}^{m}(a + bx^{(i)} - y^{(i)})^2$ J(a,b) 是一个二元函数。我们要求的是：两个参数 a 和 b 的值。要满足的条件是：a 和 b 取这个值的时候，J(a,b) 的...

机器学习入门：线性回归及梯度下降

最新发布

wc529065的博客

03-19

713

牛客题库题解

线性回归-梯度下降法

星星点灯

11-13

2586

前文 1、梯度下降法 前文在求解损失函数的最小值的时候，使用到了最小二乘法，但是有一定的缺陷，当数据量大的时候，计算量就变大了，效率就体现不出来了。梯度下降法是求解目标函数最优解的一个比较通用的方法。梯度：在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。沿着梯度向量的方向更易找到函数最大值，沿着梯度向量相反的方向更易找到最小值。 2、一元线性回归中的梯度下降 可以使用：x=x−ηdfdxx=x-\eta\frac{df}{dx}x=x−ηdxdf ，来

简单线性回归（梯度下降法）

hyunbar的博客

05-22

2184

1、概述 梯度下降法和最小二乘法相同点：本质和目标相同：两种方法都是经典的学习算法，在戈丁已知数据的前提下利用求导算出一个模型（函数），使得损失函数最小，然后对给定的新数据进行估算预测不同点：损失函数：梯度下降可以选取其他损失函数，而最小二乘一定是平方损失函数实现方法：最小二乘法是直接求导找出全局最小；而梯度下降是一种迭代法效果：最小二乘法找到的一定是全局最小，但计算繁...

线性回归模型——梯度下降算法

m0_37940048的博客

10-23

1万+

目录引言线性回归介绍手动实现梯度下降法线性回归调用API接口实现线性回归 引言 线性回归可能是我们接触最早的机器学习算法了，在高中数学的课本上，我们第一次正式认识这位朋友，通过最小二乘法来得到数据的线性回归方程，进而求得模型的参数。但其实，在初中时，我们就学过通过两个已知点坐标求解一次函数的技能，这也算是线性回归模型的一种特例吧。今天来给大家介绍另一种求解线性回归模型的方法——梯度下降法。 线性回归介绍 线性回归定义 线性回归（Linear regression）是利用回归方程（函数）对一个或多个自

[机器学习]简单线性回归——梯度下降法

啦啦啦

01-28

648

【代码】[机器学习]简单线性回归——梯度下降法。

机器学习入门（六）：线性回归——梯度下降法求解目标函数

米饭超人的专栏

03-12

4149

y = a + bx 的目标函数上一篇文章，我们解释了线性，本文我们回到求解线性回归目标函数的问题上。前面已知，线性回归的目标函数为： J(a,b)=12m∑mi=1(a+bx(i)−y(i))2 J(a,b) 是一个二元函数。我们要求的是：两个参数 a 和 b 的值。要满足的条件是：a 和 b 取这个值的时候，J(a,b) 的值达到最小。我们现...

线性回归——梯度下降算法

surymy

05-31

1275

梯度下降算法：求极小值设一个方程为 y=wx+b+e 其中e为高斯噪声，范围是（0.01，1） x*=x-Δx·learing_rate在这个公式中，x为当前x的值，Δx为关于x的导数 loss=(wx+b-y)^2 loss是大于等于0的，当取等号时，y近似等于wx+b,且loss为极小值 梯度下降算法采用求平方和极小值的方法，进行数据拟合代码如下： import numpy as up #y = wx + b def compute_error_for_line_given_points(b,

线性回归与梯度下降

尽人事，听天命

05-28

1416

线性回归(Linear Regression) 从这篇文章开始，主要介绍机器学习的一些列基本算法，本文介绍线性回归问题，以及利用最小均方和梯度下降解决线性回归问题。（以下内容是根据斯坦福大学ng教授的机器学习公开课总结的内容）监督学习：即训练数据中既包含了输入数据又包含了对应于这个是输入数据的正确的输出结果。回归问题：当给出了输入数据后，预测正确的输出结果。

LinearRegression 线性回归 梯度下降

02-21

LinearRegression 线性回归 梯度下降算法使用VS环境，也可自己使用其它IDE

线性回归模型：梯度下降（机器学习）（python）

cornki的博客

07-30

2855

梯度下降是一种优化算法，用于最小化一个损失函数。它通过沿着损失函数的负梯度方向迭代来更新模型参数，从而使损失函数不断减小。

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

weixin_34360651的博客

12-05

323

机器学习系列4：线性回归的梯度下降算法

SuperFeng

02-02

673

之前我们已经学过了线性回归、代价函数和梯度下降，但是他们就像一个人的胳膊和腿，只有组合在一起才会成为一个「完整的人」，这个「完整的人」就是一个机器学习算法，让我们一起来学习第一个机器学习算法吧。这个机器学习算法叫做线性回归的梯度下降算法（Gradient Descent For Linear Regression），还记得我们学过的线性回归函数、代价函数和梯度下降算法吗？如果忘记了，让我...

线性回归梯度下降法

qq_45451226的博客

03-31

160

# -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt #1.导入数据 points = np.genfromtxt('data.csv', delimiter=',') # 提取points中的两列数据，分别作为x，y x = points[:, 0]#所有行的第一列 y = points[:, 1]#所有行的第二列 # 用plt画出散点图 plt.scatter(x, y) plt.show()...

线性回归之梯度下降法

chen645096127的博客

09-19

1037

1.对梯度下降法概念的理解：在求解机器学习的算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的算法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 2.梯度：在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是

线性回归 梯度下降_线性回归梯度下降简介

weixin_26704853的博客

09-16

994

线性回归 梯度下降Linear Regression is one of the most popular supervised machine learning. It predicts values within a continuous range, (e.g. sale prices, life expectancy, temperature, etc) instead of trying...

线性回归（梯度下降法）

03-03

### 线性回归使用梯度下降法实现的方法及原理 #### 方法概述为了在线性回归中应用梯度下降法，目标是最小化模型预测值与实际观测值之间的差异。这通常通过最小化均方误差(MSE)作为损失函数来完成[^1]。 #### 定义线性假设设有一个简单的单变量线性回归问题，其中输入特征为 $X$ ，输出标签为 $y$ 。线性关系可表示为： \[ h_\theta(x)=\theta_0+\theta_1x \] 这里 $h_\theta(x)$ 是关于参数向量 $\theta=[\theta_0,\theta_1]$ 的假设函数[^2]。 #### 初始化参数并计算初始成本在开始迭代之前，先初始化权重（即θ），一般设置为零或很小的随机数。接着利用当前设定好的θ去估计样本的目标值，并据此算出整个训练集中所有实例的成本总和——平均平方差[MSE]。 #### 计算梯度更新规则对于每一个参数 θj (j=0, j=1)，按照下面的方式调整它: \[ \theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta_0, \theta_1) \] 这里的 α 表示学习率；$J(\theta_0, \theta_1)$ 则代表我们的代价/损失函数，在这里是 MSE 函数。具体来说就是对每个参数求偏导数以获得该方向上最陡峭的方向，从而指导我们如何改变参数使得下一次计算出来的MSE更小一些[^3]。 #### 编写Python代码实现上述过程下面是基于纯 Python 和 NumPy 库编写的简单例子，用于演示如何运用批处理方式下的梯度下降来进行一元线性拟合： ```python import numpy as np def compute_cost(X, y, theta): m = len(y) predictions = X.dot(theta) square_err = (predictions - y)**2 return 1/(2*m)*np.sum(square_err) def gradient_descent(X, y, theta, alpha, num_iters): m = len(y) cost_history = [0]*num_iters for iteration in range(num_iters): prediction = X.dot(theta) errors_x1 = (prediction-y)*X[:,0] errors_x2 = (prediction-y)*X[:,1] theta[0][0] -= alpha*(1/m)*errors_x1.sum() theta[1][0] -= alpha*(1/m)*errors_x2.sum() cost_history[iteration] = compute_cost(X,y,theta) return theta,cost_history data=np.loadtxt('F:\\python\\机器学习\\data\\梯度下降求解逻辑回归\\梯度下降\\data\\logireg_data.txt',delimiter=',') m=len(data) X=data[:,:-1].reshape(m,1) ones=np.ones((m,1)) X=np.hstack([ones,X]) y=data[:,-1:] iterations = 1500; alpha = 0.01; theta = np.zeros([2,1]) theta ,cost_history=gradient_descent(X,y,theta,alpha,iterations) print("Theta found by gradient descent:") print(theta) ``` 此段程序首先加载了一个CSV文件中的数据集，然后执行了批量梯度下降算法来寻找最佳拟合直线的斜率和截距[^4]。