【动手学深度学习】 2预备知识

原创 已于 2022-09-13 11:29:50 修改 · 1.7k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #python #pytorch

于 2022-09-12 17:12:06 首次发布
本文概述了学习《动手学习深度学习》课程时需要掌握的基础知识，包括线性代数的矩阵运算、微积分的梯度与损失函数、概率在不确定性推理中的应用，以及PyTorch中的张量操作、数据预处理和核心概念如广播机制、索引切片等。通过实例讲解，读者将熟悉数据操作、张量概念、微积分在优化中的角色，以及如何利用自动微分技术加速学习过程。

李沫《动手学习深度学习》课程学习

需要预备的知识 原因 重点
线性代数 处理表格数据 矩阵运算
微积分 决定以何种方式调整参数

损失函数（loss function）—— 衡量“模型有多糟糕”这个问题的分数

梯度（gradient）—— 连结一个多元函数对其所有变量的偏导数，简单理解就是求导
概率 在不确定的情况下进行严格的推断

目录

2.1. 数据操作——张量

2.1.1. 入门

2.1.2. 运算符

2.1.3. 广播机制

 2.1.4. 索引和切片

2.1.5. 节省内存

2.1.6. 转换为其他Python对象

2.1.8. 练习

2.2. 数据预处理

2.3. 线性代数

2.3.1. 标量

2.3.2. 向量

2.3.3. 矩阵

2.3.4. 降维

2.3.4.1. 非降维求和——轴数不变

 2.3.5. 练习​编辑

2.4. 微积分

2.5. 自动微分

2.6. 概率

2.1. 数据操作——张量

一个名词——张量（tensor），指n维数组，其中具有一个轴的张量对应数学上的向量（vector）； 具有两个轴的张量对应数学上的矩阵（matrix）

多维张量的几何理解 - 简书 (jianshu.com)

张量的几何理解

2.1.1. 入门

库名：torch

pytorch中基本的数值计算、张量创建
函数名 作用 例子 例子意义 结果
arange() 创建行向量 torch.arange(12) 创建了一个包含以0开始的前12个整数的行向量 
tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])
zeros() 设置张量所有元素均为0 torch.zeros(2,3,4) 创建一个形状为（2,3,4）的张量，其中所有元素都设置为0

ones() 设置张量所有元素均为1 torch.ones(2,3,4) 创建一个形状为（2,3,4）的张量，其中所有元素都设置为1
randn() 随机初始化张量中参数的值 torch.randn(3,4) 形状为（3,4）的张量。 其中的每个元素都从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样。
tensor() 提供包含数值的Python列表（或嵌套列表），来为所需张量中的每个元素赋予确定值。 在这里，最外层的列表对应于轴0，内层的列表对应于轴1。 torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]]) 指定张量
张量属性,设x=tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])
函数名 作用 例子 结果
shape 访问张量（沿每个轴的长度）的形状 x.shape 
torch.Size([12])
size() 访问张量（沿每个轴的长度）的形状 x.size() 
torch.Size([12])
numel() 张量中元素的总数 x.numel() 
12
reshape() 改变一个张量的形状而不改变元素数量和元素值 x.reshape(3,4) 

 
3维张量的张量属性实例
注：len()函数二维张量时结果与numel()函数相同，三维就不同了

2.1.2. 运算符

——按元素（elementwise）运算

对于任意具有相同形状的张量， 常见的标准算术运算符（+、-、*、/和**）都可以被升级为按元素运算。 我们可以在同一形状的任意两个张量上调用按元素操作。

运算函数（部分不用再导入包）
程序中运算函数
最低0.47元/天 解锁文章
深度学习：非标量调用backward()求梯度实现原理、detach()
qq_52209929的博客
03-26 2620
计算图 非标量调用backward()求梯度 x = torch.arange(4.0) x.requires_grad = True y = x * x 方法1：通过y.sum().backward()调用反向传播 y.sum().backward() print(x.grad) sum为y.sum() 把x带入得 x.grad为(0,2,4,8) 方法2：传入shape和x一样的ones参数 y.backward(torch.ones(x.shape)) ...
【深度学习】自动求导中有时为什么要先sum()再backward()
qq_43722079的博客
03-09 1800
在深度学习中，被求导的对象（样本/输入）一般是多元的（向量x），绝大多数情况是标量y对向量x进行求导，很少向量y对向量x进行求导，否则就会得到复杂的微分矩阵（且torch无法直接处理这种操作，需要在backward()中添加gradient参数才能实现）。 所以经常把一个样本看做一个整体，它包含多个变量（属性），对其所有属性求导后再加和，就得到了这个样本的偏导数之和。因此当计算得到的y是一个关于x的向量的话，我们可以通过y.sum()操作将y标量化，再反向传播，得到标量对x的导数。
pytorch中求梯度，为什么要先对向量执行sum操作
m0_61219895的博客
02-24 1425
这是我自己对backward求导之前先进行sum()操作的理解。
pytorch中tensor求导:y.sum().backward()为什么求导的时候要进行这个sum操作；
JEREMY的博客
02-08 2577
pytorch中tensor求导:y.sum().backward()为什么求导的时候要进行这个sum操作；
用例子对sum.backward()的浅析
lizhibin1的博客
03-15 1877
打印loss看结果当然，我们也可以手动验证一下,loss = (-2.1865-6.)^2 / 2= 33.509391125,与打印的loss相同，验证成功。
《动手学深度学习2.0-李沐Pytorch版》
最新发布
07-24
内容概要：《动手学深度学习2.0-李沐Pytorch版》是一本结合理论与实践的深度学习教材，旨在帮助读者掌握深度学习的核心概念和实践技能。全书分为三个主要部分：基础知识和预备知识、现代深度学习技术和应用、以及可...
精选资源
动手学深度学习pytorch.pdf
02-26
在预备知识部分，书中详细讲解了数据操作，这是理解和操作深度学习模型的基础。这部分包括： 1. 入门：介绍PyTorch的基本数据结构，如Tensor（张量），以及如何创建和初始化它们。 2. 运算：讲解了基本的数学运算，...
《动手学深度学习》预备知识和安装环境
m0_62520946的博客
05-08 455
哈喽，欢迎来到自学深度学习小白的文章，本文将介绍anacoda是什么和有什么用，以及在win10环境下如何安装运行环境。
动手学深度学习（一）简介+预备知识+基础知识（上）
Willowii的博客
09-11 1164
nn模块：“nn”是neural networks（神经网络）的缩写。顾名思义，该模块定义了大量神经网络的层。Sequential可以看作是一个串联各个层的容器。在构造模型时，我们在该容器中依次添加层。当给定输入数据时，容器中的每一层将依次计算并将输出作为下一层的输入。直接在nn.Sequential()内定义：# 此处还可以传入其他层创建实例后add_module：OrderDict创建多个：每层有名字# ......]))nn里面有很多Loss。
《动手学深度学习》第2章 预备知识 部分笔记
qq_39991776的博客
03-13 931
《动手学深度学习》第2章部分笔记（数据预处理，自动微分，概率） 主要是记录自学过程中不理解的函数，方便复习，再加上一些课后练习
动手学深度学习-关于y.sum().backward()中sum的理解
小菜的博客
04-08 501
当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中）， 但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。
pytorch中tensor求导--y.sum().backward()为什么求导的时候要进行这个sum操作
guanguanboy的专栏
01-10 8420
x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True) y = x.tanh() #xyplot(x, y, 'tanh') #绘制tanh的导数 x.grad.zero_() y.sum().backward() #为什么求导的时候要进行这个sum操作。 xyplot(x, x.grad, 'grad of tanh') 原因是：...
李沐笔记+课后习题（自动求导）
qq_42310607的博客
10-02 1415
向量链式法则： 自动求导：（计算一个函数在指定值上的导数） 计算图： 自动求导的两种模式：（正向和反向） 复杂度： 自动求导实现： import torch x = torch.arange(4.0) # 创建一个向量x并分配一个初始值 print(x) # 在计算y关于x的梯度之前，需要一个地方来存储梯度 x.requires_grad_(True) # 等价于x = torch.arange(4.0, requi...
PyTorch入门
eyvr的博客
12-18 905
PyTorch入门
l.sum().backward()梯度反向传播时为何要加.sum()函数
qq_43369406的博客
06-23 2321
函数主要有两个作用，一个是用来求和，一个是用来降维。而在这里是用到了降维的作用。这是二维的，pytorch并不能进行梯度反向传播计算梯度，所以我们需要使用。Pytorch进行梯度的计算，只能对标量进行梯度计算，例如。这是一个标量，是能够进行梯度计算的，而例如。，对于多元函数便能计算偏微分，求梯度了。
动手学深度学习——矩阵求导之自动求导
时生的博客
03-11 5350
深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导。 实际中，根据我们设计的模型，系统会构建一个计算图（computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。 自动微分使系统能够随后反向传播梯度。 这里，反向传播（backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。
PyTorch中张量的创建和常用方法
qq_44289607的博客
01-26 3139
PyTorch中张量的创建及一些常用方法
查看张量形状len(?)、shape、.numel()以及.reshape()
ngc2244的博客
09-21 3909
import torch a = torch.randn(2, 2) print(a) print(a.shape) #张量的形状（沿每个轴的长度） print(len(a)) print(a.numel()) #张量中元素的总数 reshape(x,y,z) import torch b=torch.arange(12) print(b) print("----") print(b.reshape(3,4)) print(b....
loss.sum().backward()中对于sum()的理解
q3241758733的博客
09-16 619
我们通过了解可以确定的所以backward前面都是标量。
深度学习入门：动手学PyTorch
"动手学深度学习pytorch.pdf" 是一份深度学习的学习文档，专注于通过PyTorch框架进行实践教学。该文档由AstonZhang、ZacharyC.Lipton、MuLi和AlexanderJ.Smola合作编写，内容涵盖深度学习的基础知识、PyTorch的使用...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值