Leiroy的博客

###转载：一文解释PyTorch求导相关(backward, autograd.grad)导数偏导数的数学定义Pytorch autograd,backward详解

https://blog.youkuaiyun.com/u014381464/article/details/81101551?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant_t0.none-task-bl

计算图与动态图机制计算图计算图是用来描述 运算 的有向无环图计算图有两个主要元素：结点 Node ，表示数据，如向量，矩阵，张量和 边 Edge，表示运算 ，如加减乘除卷积等用计算图表示：y = (x+ w) * (w+1)a = x + wb = w + 1y = a * b叶子结点 ：用户创建的结点称为叶子结点，如 X 与 Wis_leaf: 指示 张量是否为叶子结点梯度反向传播之后，非叶子节点的梯度会被释放grad_fn: 记录创建该张量时所用的方法（函数)y.

https://blog.youkuaiyun.com/weixin_39562554/article/details/110804625?utm_term=k%E6%8A%98%E4%BA%A4%E5%8F%89%E9%AA%8C%E8%AF%81%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2allsobaiduweb~default-4-110804625

文章目录理解实战总结理解把pytorch看作一个工具包，工具包中有很多小隔间，如图中的1，2，3，4，打开一个小隔间，里面可能又是一些小隔间。也可能是直接能用的工具，如图中3隔间中的工具a，b，c。现在我们要探索这个工具包，有两个操作，一个是dir()，功能是：打开，看见。另一个是help()，功能是：说明书，也就是说明某个工具怎么用，这里的工具就是指一些函数了。如下图按照标红的 123的步骤，查看工具a的功能。先打开pytorch，发现有1，2，3，4这四个小隔间。然后打开3号小隔间，发现有.

文章目录1. 数据操作1.1创建Tensor1.2 运算1.3 广播机制1.4 索引1.5 运算的内存开销1.6 Tensor和NumPy相互变换1. 数据操作 1.1创建Tensor 在深度学习中，我们通常会频繁地对数据进行操作。在PyTorch中， torch.Tensor 是一种包含单一数据类型元素的多维矩阵，也是存储和变换数据的主要工具。为了简洁，本书常Tensor 实例直接称作Tensor 。如果你之前用过NumPy ，你会发现Tensor 和NumPy 的多维数组非常类似。然而， T