PyTorch学习——利用梯度下降法实现一元线性回归

预测房价--基于python的线性回归模型 线性回归-机器学习(预测房价) 影响房价最大的因素就是房屋的面积和地段,本文章中针对房屋的面积作为主要影响因素,分析房屋面积对房价的影响 1. 阅读详情

一元线性回归

一元线性模型非常简单,假设我们有变量 xix_ixi​ 和目标 yiy_iyi​,每个 i 对应于一个数据点,希望建立一个模型
在这里插入图片描述
y^i\hat{y}_iy^​i​ 是我们预测的结果,希望通过 y^i\hat{y}_iy^​i​ 来拟合目标 yiy_iyi​,通俗来讲就是找到这个函数拟合 yiy_iyi​ 使得误差最小,即最小化
在这里插入图片描述

梯度

梯度在数学上就是导数,如果是一个多元函数,那么梯度就是偏导数。比如一个函数f(x, y),那么 f 的梯度就是
(∂f∂x, ∂f∂y) (\frac{\partial f}{\partial x},\ \frac{\partial f}{\partial y}) (∂x∂f​, ∂y∂f​)

可以称为 grad f(x, y) 或者 ∇f(x,y)\nabla f(x, y)∇f(x,y)。具体某一点 (x0, y0)(x_0,\ y_0)(x0​, y0​) 的梯度就是 ∇f(x0, y0)\nabla f(x_0,\ y_0)∇f(x0​, y0​)。

梯度有什么意义呢?从几何意义来讲,一个点的梯度值是这个函数变化最快的地方,具体来说,对于函数 f(x, y),在点 (x0,y0)(x_0, y_0)(x0​,y0​) 处,沿着梯度 ∇f(x0, y0)\nabla f(x_0,\ y_0)∇f(x0​, y0​) 的方向,函数增加最快,也就是说沿着梯度的方向,我们能够更快地找到函数的极大值点,或者反过来沿着梯度的反方向,我们能够更快地找到函数的最小值点。

梯度下降法

有了对梯度的理解,我们就能了解梯度下降法的原理了。上面我们需要最小化这个误差,也就是需要找到这个误差的最小值点,那么沿着梯度的反方向我们就能够找到这个最小值点。

我们可以来看一个直观的解释。比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个局部的山峰低处。

类比我们的问题,就是沿着梯度的反方向,我们不断改变 w 和 b 的值,最终找到一组最好的 w 和 b 使得误差最小。

在更新的时候,我们需要决定每次更新的幅度,比如在下山的例子中,我们需要每次往下走的那一步的长度,这个长度称为学习率,用 η\etaη 表示,这个学习率非常重要,不同的学习率都会导致不同的结果,学习率太小会导致下降非常缓慢,学习率太大又会导致跳动非常明显。

最后我们的更新公式就是
w:=w−η∂f(w, b)∂wb:=b−η∂f(w, b)∂b w := w - \eta \frac{\partial f(w,\ b)}{\partial w} \\ b := b - \eta \frac{\partial f(w,\ b)}{\partial b} w:=w−η∂w∂f(w, b)​b:=b−η∂b∂f(w, b)​

通过不断地迭代更新,最终我们能够找到一组最优的 w 和 b,这就是梯度下降法的原理。

PyTorch实现一元线性回归

待拟合实验数据
import torch
import numpy as np
from torch.autograd import Variable
import matplotlib.pyplot as plt

x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],
                    [9.779], [6.182], [7.59], [2.167], [7.042],
                    [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)

y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],
                    [3.366], [2.596], [2.53], [1.221], [2.827],
                    [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)


plt.plot(x_train, y_train, 'bo')
plt.show()

显示图像:
在这里插入图片描述

模型定义和初始化
# 转换成 Tensor
x_train = torch.from_numpy(x_train)
y_train = torch.from_numpy(y_train)

# 定义参数 w 和 b
w = Variable(torch.randn(1), requires_grad=True)  # 随机初始化
b = Variable(torch.zeros(1), requires_grad=True)  # 使用 0 进行初始化

# 构建线性回归模型
x_train = Variable(x_train)
y_train = Variable(y_train)


def linear_model(x):
    return x * w + b


y_ = linear_model(x_train)

plt.plot(x_train.data.numpy(), y_train.data.numpy(), 'bo', label='real')
plt.plot(x_train.data.numpy(), y_.data.numpy(), 'ro', label='estimated')
plt.show()

在这里插入图片描述
这个时候需要计算我们的误差函数,也就是
在这里插入图片描述

# 计算误差
def get_loss(y_, y):
    return torch.mean((y_ - y_train) ** 2)

loss = get_loss(y_, y_train)
# 打印一下看看 loss 的大小
print(loss)

在这里插入图片描述

定义好了误差函数,接下来我们需要计算 w 和 b 的梯度了

# 自动求导
loss.backward()
# 查看 w 和 b 的梯度
print(w.grad)
print(b.grad)

在这里插入图片描述

更新一次参数

# 更新一次参数
w.data = w.data - 1e-2 * w.grad.data
b.data = b.data - 1e-2 * b.grad.data
y_ = linear_model(x_train)
plt.plot(x_train.data.numpy(), y_train.data.numpy(), 'bo', label='real')
plt.plot(x_train.data.numpy(), y_.data.numpy(), 'ro', label='estimated')
plt.show()

在这里插入图片描述
从上面的例子可以看到,更新之后红色的线跑到了蓝色的线下面,没有特别好的拟合蓝色的真实值,所以我们需要在进行几次更新

循环更新

for e in range(10):  # 进行 10 次更新
    y_ = linear_model(x_train)
    loss = get_loss(y_, y_train)

    w.grad.zero_()  # 记得归零梯度
    b.grad.zero_()  # 记得归零梯度
    loss.backward()

    w.data = w.data - 1e-2 * w.grad.data  # 更新 w
    b.data = b.data - 1e-2 * b.grad.data  # 更新 b
    print('epoch: {}, loss: {}'.format(e, loss.item()))


y_ = linear_model(x_train)
plt.plot(x_train.data.numpy(), y_train.data.numpy(), 'bo', label='real')
plt.plot(x_train.data.numpy(), y_.data.numpy(), 'ro', label='estimated')
plt.show()
tensor(13.2937, grad_fn=<MeanBackward0>)
tensor([-47.0074])
tensor([-6.9313])
epoch: 0, loss: 0.46915704011917114
epoch: 1, loss: 0.23152294754981995
epoch: 2, loss: 0.22683243453502655
epoch: 3, loss: 0.22645452618598938
epoch: 4, loss: 0.22615781426429749
epoch: 5, loss: 0.2258642166852951
epoch: 6, loss: 0.22557203471660614
epoch: 7, loss: 0.22528137266635895
epoch: 8, loss: 0.22499223053455353
epoch: 9, loss: 0.2247045636177063

在这里插入图片描述经过 10 次更新,我们发现红色的预测结果已经比较好的拟合了蓝色的真实值。

Pytorch Note9 线性模型和梯度下降 Pytorch Note9 线性模型和梯度下降一元线性回归梯度下降法梯度梯度下降法一维线性模型 全部笔记的汇总贴:Pytorch Note 快乐星球 一元线性回归 说起线性模型,大家对它都很熟悉了,通俗来讲就是给定很多个数据点,希望能够找到一个函数来拟合这些数据点使其误差最小,比如最简单的一元线性模型 一元线性模型非常简单,假设我们有变量 xix_ixi​ 和目标 yiy_iyi​,每个 i 对应于一个数据点,希望建立一个模型 y^i=wxi+b \hat{y}_i = w x_i + b y^​i​=w 阅读详情

相关推荐

PyTorch深度学习实战 | 预测工资——线性回归

通过员工工作年限与工资的对应关系表,找出二者之间的关系,并预测在指定的年限时,工资会有多少。

不断学习,不断进步,提高自己 2505

一元线性回归梯度下降法(通俗易懂,初学专属)

先来理解一些基础概念。Y= w*X+b,w代表权重,b代表偏置值。我们的目的就是要求出合适的w和b,用Y= w*X+b这条曲线来拟合我们的数据集。2.1 那么如何求w和b呢用梯度下降法梯度下降的通俗理解就是:我们可以先给未知量w和b一个初始值。然后通过让它们自己学习一直变,变到合适的值为止。以我们的例子为例,最终结果应当是Y =3*X+7这条曲线拟合数据集的。我们假设w=1,b=1.进行一次梯度下降后,可能w就变成2,b就变成3(此处夸大了,一般变化不会那么大,一般变化很小,所以需要梯度下降很多次。

m0_63867120的博客 2163

SystemVerilog学习总结

因为选择的offer是IC验证,以前学的是设计,所以只能再学systemverilog(SV)和UVM了。在学习SV和UVM之前,我认为需要学习以下几个部分:数字电路、c++和verilog。因为IC验证确实有不少别的专业之前没学过数字电路和Verilog,所以还是最好先学习一下。 知识点的总结主要是通过systemverilog验证-测试平台编写指南这本书进行的,所以请看书。通过对这本书的目录进行重点的划分,然后再进行相关知识点的总结。最后,给出自己收集的别的博主IC EDA环境的虚拟机,以及使用虚拟机需

博主毕竟还是人,肯定会有错误,各位看的时候发现错误提出来就好 1万+

梯度下降算法--一元线性回归

梯度下降算法python代码实现

weixin_44246836的博客 1854

Vivado里LDPC IP核怎么配?手把手教你从6144bit数据到完整参数设置

本文详细介绍了在Vivado中配置LDPC IP核的完整流程,从6144bit数据的参数计算到实际IP核设置。通过分析基本图选择、扩展因子计算和移位参数确定等关键步骤,帮助工程师高效完成LDPC编译码的硬件实现,并提供了时序控制、仿真验证和性能优化的实用技巧。

weixin_30352645的博客 519

xenomai内核解析--嵌入式实时linux概述

Linux系统作为一个GPOS(通用操作系统)发展至今已经非常成熟可靠了,并且由于遵循GPL协议,开放所有系统源代码,非常易于裁剪。更重要的是,与其他开源的GPOS或RTOS相比,Linux系统支持多种处理器、开发板,提供多种软件开发工具,同时Linux系统对网络和图形界面的支持非常出色。显然,选择Linux操作系统在产品的开发周期和成本控制方面都有巨大优势。 虽然Linux系统功能强大、实用性强...

wsg1100 3702

一元线性回归与梯度下降法

文章目录1.问题引入2.代价函数3.梯度下降法 1.问题引入 根据不同房屋尺寸,预测出房子可以卖多少钱。所做任务就是通过给的数据集构建一个模型。 显然这是一个回归问题,根据之前的数据预测出一个准确的输出值。 为了描述这个回归问题,标记如下: 给出的数据集被称为训练集 用m表示训练集中实列的数量 用x表示输入变量/特征 用y表示输出变量/目标变量 (x,y)表示训练集中的实列 (x(i),y(i))代表第i个观察实列 h代表学习算法的解决方案或函数也称为假设(hypothesis) 在本例中,h表示一个函数

m0_51456926的博客 935

Python气象雷达数据处理实战:用PyCINRAD从基数据到PPI图的完整流程

本文详细介绍了使用PyCINRAD库处理气象雷达基数据并生成PPI图的完整流程,涵盖环境配置、数据读取、反射率与速度数据提取、可视化优化等关键步骤。通过实战案例演示如何从原始雷达数据到专业级PPI图像生成,为气象研究和业务应用提供高效解决方案。

yog99的博客 759

pytorch学习01:梯度下降实现简单线性回归

描述 梯度下降算法是深度学习的一个基础概念,基本思想是利用梯度来尝试寻找使损失函数得到最小值的参数,以达到接近真实未知函数的目的。 本次利用python实现简单函数的梯度下降算法。 目标函数形式为: y=wx+by=wx+by=wx+b 损失函数形式为: Loss=∑(wx+b−y)2/N,N为x的数量Loss=\sum{(wx + b - y)^2}/N, N为x的数量Loss=∑(wx+b−y)2/N,N为x的数量 梯度下降的目的: 寻找使LossLossLoss函数值最小的 www 和 bbb 。 梯

HMT的博客 307

XCP实战系列介绍01-测量与标定底层逻辑介绍

XCP-测量与标定底层代码实现介绍,通过对相关API调用关系介绍加深开发人员对其功能的了解。

initiallizer的博客 1万+

获取微信公众号历史文章列表页链接

action=home&__biz=这里替换你的biz==4、链接分享、发送到微信即可访问,注意该链接仅可在微信客户端使用,外部浏览器无法打开。3、拼接通用公式生成链接即为微信公众号历史文章列表链接。,如下图找到红框部分值,复制即为上文biz值。2、浏览器右键查看网页源码,新开页面搜索(1、复制公众号任意文章的链接在浏览器打开。

珞瑜的博客 7968

用pytorch梯度下降实现线性回归

原理 我们得到一系列数据,最先试用的方法一般就是尝试用一条直线进行拟合,也就是线性回归。寻找一条直线,可以描述这一系列点的关系。 我们有采样得到的实际值y和根据回归直线方程计算得到的wx+b。那么目标就是使这两个值的差距最小化 loss=(wx+b−y)2loss=(wx+b-y)^2loss=(wx+b−y)2 在本次实验中,在直线方程中引入一个高斯噪声生成了100个随机点。如下: 具体来说,优化函数如下: 利用梯度下降算法,可以迭代优化参数,使得目标函数逐渐减小。 pytorch实现 1、计算总误

kiss_the_rian的博客 641

双向升压和降压的DC-DC转换器设计

c复制// 类型定义与常量MODE_FORWARD_BOOST, // 正向升压模式(输入700V→输出1200V)MODE_FORWARD_BUCK, // 正向降压模式(输入700V→输出<700V)MODE_REVERSE_BOOST, // 反向升压模式(输入1200V→输出700V)MODE_REVERSE_BUCK // 反向降压模式(输入<700V→输出700V)// 硬件参数float Vin;// 输入电压(0-1200V)

568

2021-05-04

简单的一元线性回归模型 1 导入需要的包,设置随机数种子,设置学习率 #导入需要用到的包 import torch import matplotlib.pyplot as plt torch.manual_seed(10) #设置随机种子种子 lr = 0.05 #设置学习率 2 创建训练数据 X为随机的正太分布,y=2×X+(5+torch.randn(20,1)) x = torch.rand(20, 1) * 10 # 随机生成X y

qq_40653350的博客 152

管好 SAP Fiori Launchpad Content:技术目录、业务目录与 KPI 工具的完整治理思路

SAP Fiori Launchpad 作为企业级统一入口,需通过技术目录(源对象)和业务目录(引用编排)分层治理。技术目录由 Launchpad App Manager 维护,负责应用描述对象(Tile 和 Target Mapping)的创建与管理;业务目录由 Launchpad Content Manager 编排,通过引用技术目录对象实现灵活配置。分析型内容则通过 F2814 统一管理。这种分层设计支持应用复用,便于升级维护,是 SAP S/4HANA 项目中实现高效内容治理的关键。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 137

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

1.2 梯度下降法和基于pytorch一元线性回归

由于我们最开始的w和b是随机初始化,所以肯定不准确,我们后面的梯度下降目的是为了预测提高准确率,也可以说目的是让损失值更小,所以在进行梯度下降之前我们先看一下初始的状态。但对于神经网络,损失函数通常是高度非线性的,比如涉及指数、log、ReLU、sigmoid 等函数,导致它们的偏导数方程组难以解析求解。然后我们用梯度下降法进行回归,运行程序后你会发现打印的loss值是越来越小的,说明预测是越来越准确的,梯度下降法是有效的。这种方法是有效的,因为它可以直接得到参数的解析解,而不需要迭代优化过程。

nutmeatu566的博客 833

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

梯度下降法求一元线性回归

求解最佳参数,需要一个标准来对结果进行衡量,为此我们需要定量化一个目标函数式,使得计算机可以在求解过程中不断地优化。准备数据:x=np.array([0.18,0.1,0.16,0.08,0.09,0.11,0.12,0.17,0.15,0.14,0.13]),(Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中,只包括。利用PyTorch封装类实现梯度下降拟合线性回归。求当Loss最小时的w和b的值。,已知x和y,求w和b。

m0_74895132的博客 702

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

pytorch梯度下降法与线性回归构建简单神经模型

本课内容 1.numpy和pytorch实现梯度下降法 2..设定初始值 3.求取梯度 4.在梯度方向上进行参数的更新 5.numpy和pytorch实现线性回归 6.pytorch实现一个简单的神经网络 7.参考资料:PyTorch 中文文档

bobi123bobi的博客 753

PyTorch实战福利从入门到精通之六——线性回归

一元线性回归 一元线性模型非常简单,假设我们有变量 xix_ixi​ 和目标 yiy_iyi​,每个 i 对应于一个数据点,希望建立一个模型 y^i=wxi+b \hat{y}_i = w x_i + b y^​i​=wxi​+b y^i\hat{y}_iy^​i​ 是我们预测的结果,希望通过 y^i\hat{y}_iy^​i​ 来拟合目标 yiy_iyi​,通俗来讲就是找到这个函数拟合 yiy_...

kaggle expert,全球排名前1000,清华计算机研究生,兴趣算法工程 610

机器学习--线性回归算法--从原理到pytorch代码

从零实现线性回归算法,包含原理和完整pytorch代码

露忆丶十二的博客 1775

一元线性回归模型

Pytorch Week1:一元线性回归模型 文章目录Pytorch前言一、求解步骤二、使用步骤1.引入库2.读入数据总结 前言 线性回归是分析一个变量与另一个变量的关系的方法。 线性回归的意思就是指x与y之间的关系是线性的。y = wx+b。 一、求解步骤 1.确定模型 Model: y=wx+b 2.选择损失函数 MES 3.求解梯度并更新w,b w = w - LR * w.grad w = w -LR*W.GRAD 二、使用步骤 1.引入库 代码如下(示例): impo

weixin_42318554的博客 556

深度学习入门之线性模型和梯度下降

线性模型和梯度下降 这是神经网络的第一课,我们会学习一个非常简单的模型,线性回归,同时也会学习一个优化算法-梯度下降法,对这个模型进行优化。线性回归是监督学习里面一个非常简单的模型,同时梯度下降也是深度学习中应用最广的优化算法,我们将从这里开始我们的深度学习之旅。 一元线性回归 一元线性模型非常简单,假设我们有变量 xix_ixi​ 和目标 yiy_iyi​,每个 i 对应于一个数据点,希望建立一个模型 y^i=wxi+b \hat{y}_i = w x_i + b y^​i​=wxi​+b y^i\hat

紫芝的博客 617

pytorch实现Linear Regression

pytorch实现线性回归 前言 线性回归是监督学习里面一个非常简单的模型,同时梯度下降也是深度学习中应用最广的优化算法 梯度下降法 实在是一些公式以文本格式打不出来,所以采用截图!!!! 一元线性回归 首先构造初始数据(小编感觉这时候画图更清晰) import numpy as np import matplotlib.pyplot as plt if __name__ =...

qq_39682037的博客 2371

使用pytorch做一元线性回归以及预测

pytorch一元线性回归

LIHONGLI000125的博客 820

机器学习及Pytorch(二、梯度下降算法)

我们知道,学习任务就是找到让MSE最小的权重,假设我们权重选在w=3.5这一点,很显然此时MSE大概在12左右,不是最小值,为了得到目标权重,我们就应该让w=3.5这一个“小球”往函数值下降的地方走,也就是在w=3.5这一处放一颗小球,小球应该往坡度向下的方向滚。经过一百轮的训练,我们可以从数据中看出,在最后几轮,w的值非常接近于2.0,loss的值非常接近于0,因此我们可以认定,预测可以得出四个小时的学习,会得到8分。为了普适多元线性模型的情况,我们用梯度来在某点处最大下降坡度,也就是小球滚下去的方向。

weixin_67526755的博客 285

PyTorch机器学习与深度学习

因此,为了帮助广大科研人员更加系统地学习深度学习的基础理论知识及对应的Pytorch代码实现方法,Ai尚研修特举办“最新PyTorch机器学习与深度学习实践技术应用高级培训班”,旨在帮助学员掌握深度学习的基础知识,与经典机器学习算法的区别与联系,以及最新的迁移学习、循环神经网络、长短时记忆神经网络、时间卷积网络、对抗生成网络、Yolo目标检测算法、自编码器等算法的原理及其Pytorch编程实现方法。4、值得研究的若干问题(隐含层神经元个数、学习率、初始权值和阈值等如何设置?CNN的典型拓扑结构是怎样的?

weixin_55561616的博客 397
上一篇: Windows10系统下Anaconda的虚拟环境的创建与pytorch环境的安装
下一篇: RRPN:Arbitrary-Oriented Scene Text Detection via Rotation Proposals
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值