李沐笔记+课后习题（自动求导）

最新推荐文章于 2024-04-08 19:53:50 发布

原创

最新推荐文章于 2024-04-08 19:53:50 发布 · 1.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能 #神经网络

这篇博客深入探讨了自动求导的概念，包括向量链式法则，以及其在计算函数导数中的应用。通过介绍计算图，解释了自动求导的正向和反向模式，并讨论了它们的复杂度。此外，文中提出了一些课后练习，如比较一阶和二阶导数的计算开销，以及在不同输入情况下反向传播的影响，强调了在控制流中分析梯度的重要性。最后，通过一个具体的例子展示了如何绘制sin(x)及其导数的图像，不依赖于标准导数公式。

向量链式法则：

自动求导：（计算一个函数在指定值上的导数）

计算图：

自动求导的两种模式：（正向和反向）

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_42310607

关注关注

6
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

pycharm笔记-动手学深度学习（李沐）线性代数课后习题

weixin_46480637的博客

10-22

920

动手深度学习课后习题笔记

pycharm笔记-动手学深度学习（李沐）数据预处理课后习题

weixin_46480637的博客

10-20

1084

动手深度学习（李沐），使用pycharm完成课后练习题。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

weixin_45039292 2022.01.11
你好，是只有切断反向传播才能使用绘图函数吗

pycharm笔记-动手学深度学习（李沐）自动微分课后习题

weixin_46480637的博客

10-26

4809

动手学深度学习课后习题

《动手学深度学习——李沐》课后练习

qq_45730823的博客

06-12

731

常见的机器学习，自动优化算法可以通过学习来进行改进。首先说明启发式设计选择，在平时的代码中还没有包含这种设计启发式设计的另一面可以是理性设计。

李沐笔记+课后习题（数据操作+数据预处理）

qq_42310607的博客

09-30

1268

N维数组 ——是机器学习和神经网络的主要数据结构创建数组需要：形状（例如3*4的矩阵）、每个元素的数据类型（例如32位浮点数）、每个元素的值（例如全为0或随机数）访问元素 ...

李沐笔记+课后练习（线性代数）

qq_42310607的博客

10-01

499

标量：向量：矩阵：特殊矩阵：线性代数实现： import torch # 标量由只有一个元素的张量表示 x = torch.tensor([3.0]) y = torch.tensor([2.0]) print(x+y, x*y, x/y, x**y) # 可以将向量视为标量值组成的列表 x = torch.arange(4) print(x) # 通过张...

[课程笔记]（李沐-动手学深度学习）

weixin_38800498的博客

06-09

8518

比如y=|x|的导数，可以在[-1,1]之间取任意值将导数拓展到向量->梯度第一种情况：y标量x向量（y标量x向量）补充：内积可以这样来理解向量内积：向量a、b的内积等于向量a在b方向的分量（或投影）与b的内积，当a、b垂直时，a在b方向上无分量，所以内积为0。其他几何意义：从内积数值上我们可以看出两个向量的在方向上的接近程度。当内积值为正值时，两个向量大致指向相同的方向（方向夹角小于90度）；当内积值为负值时，两个向量大致指向相反的方向（方向角大于90度）；当内积值为0时，两个向量互相垂

【动手学深度学习】 2预备知识

sumshine_的博客

09-12

1792

第二章的知识涉及数据操作、数据预处理、线性代数、微分、求导、随机过程。其中数据预处理比较重要，单独写一篇。知识点中要明确一个名词——张量，其他的是复习一些数学上的知识以及学习其代码实现的过程。

动手学深度学习-关于y.sum().backward()中sum的理解

小菜的博客

04-08

502

当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。

《动手学深度学习》第二章——预备知识_2.5自动微分_学习思考与习题答案

weixin_45042017的博客

02-13

1330

2.5. 自动微分练习练习参考答案参考资料

浅谈Pytorch中的自动求导函数backward()所需参数的含义

12-20

正常来说backward( )函数是要传入参数的，一直没弄明白backward需要传入的参数具体含义，但是没关系，生命在与折腾，咱们来折腾一下，嘿嘿。对标量自动求导首先，如果out.backward()中的out是一个标量的话（相当于一个神经网络有一个样本，这个样本有两个属性，神经网络有一个输出）那么此时我的backward函数是不需要输入任何参数的。 import torch from torch.autograd import Variable a = Variable(torch.Tensor([2,3]),requires_grad=True) b = a + 3 c = b *

d2l自动微分练习

qq_34993631的博客

01-19

3012

课后题自动微分自动微分为什么计算二阶导数比一阶导数的开销要更大？简单来说就是会造成梯度维数的增大，标量对向量的求导是一个向量，在此基础上再对向量求导就会变成一个矩阵，进一步的会变成张量。在运行反向传播函数之后，立即再次运行它，看看会发生什么。运行时异常，之前的结果已经被释放，而且给出了提示，说要使用retain_graph=True就能够保证结果不被释放。 RuntimeError: Trying to backward through the graph a second time, but

第一次作业：深度学习基础

creami11的博客

09-05

1122

一、环境配置在谷歌 Colab 上完成 pytorch 代码练习，它是一个 Jupyter 笔记本环境，已经默认安装好 pytorch，不需要进行任何设置就可以使用，并且完全在云端运行。使用方法可以参考 Rogan 的博客：https://www.cnblogs.com/lfri/p/10471852.html 国内目前无法访问 colab，可以安装 Ghelper: http://googlehelper.net/。 ps:参考课程courses.d2l.ai/zh-v2/ 二、数据操作 ...

pycharm笔记-动手学深度学习（李沐）微积分课后习题

weixin_46480637的博客

10-24

907

动手学深度学习课后习题

对Pytorch中backward（）函数的理解

热门推荐

青山

05-22

3万+

backward() ’‘’这个写个也很好：‘’‘Pytorch中的自动求导函数backward()所需参数含义 backward()函数中的参数应该怎么理解？官方：如果需要计算导数，可以在Tensor上调用.backward()。 1. 如果Tensor是一个标量（即它包含一个元素的数据），则不需要为backward()指定任何参数 2. 但是如果它有更多的元素，则需要指定一个grad...

Pytorch中使用backward()求导详解

comli_cn的博客

03-06

8928

backward()是Pytorch中用来求梯度的方法，可以分为三种情况来使用。 1.out.backwark()中out是一个标量此时可以直接使用out.backwark(): import torch from torch.autograd import Variable #生成一个内容为[2,3]的张量，Varibale 默认是不要求梯度的，如果要求梯度， #需要加上requires_g...

向量的导数

影子的博客

01-23

4589

向量的导数 1、向量的导数设A为m×n" role="presentation" style="position: relative;">m×nm×nm\times n的矩阵，x" role="presentation" style="position: relative;">xxx为n" role="presentation" style="position: relat

深度学习部分优化算法详解

m0_53326386的博客

10-24

1476

前言由于本人在进行深度学习的初期，因为对迭代方式的不理解，造成了极大的停滞期。在使用网络的过程中，因为只懂如果应用，不懂如何改进细节或不懂在优化算法中出现不合适后如何选择新的优化算法，所以着重学习了优化算法的数学原理。本文会讲解梯度下降、随机梯度下降、小批量随机梯度下降、动量法梯度下降。其他的优化算法比如AdaGrad、RMSProp、AdaDelta、Adam 优化算法首先了解下优化算法在深度学习中的重要作用在深度学习的训练中，需要不断迭代模型的参数以让损失函数的结果得到预期的效果。那.

记一次d2l_softmax回归中的错误

qq_34993631的博客

01-23

1984

错误代码与现象分析 def train_epoch_ch3(net, train_iter, loss, updater): #@save """训练模型一个迭代周期""" # 将模型设置为训练模式 if isinstance(net, torch.nn.Module): net.train() # 训练损失总和、训练准确度总和、样本数 metric = Accumulator(3) for X, y in train_iter:

李沐深度学习自动求导