typical_yyc的博客

包为张量上的所有运算提供了自动微分机制，它是 PyTorch 能够实现“定义即运行 (Define-by-Run)”的核心原因。原因：Autograd 依赖前向传播的原始值来算梯度，原地修改会破坏“犯罪现场”，导致计算失败。下面给出的例子中，张量由用户手动创建，因此grad_fn返回结果是None。autograd 会自动沿计算图反向传播，并计算。每个非叶子节点张量（由运算得到的张量）都有一个。之后参与的运算，才会被autograd追踪。，所有的后续节点（输出）都会自动变为。在深度学习中，训练的核心是。

以上述的计算为例：y.grad_fn = <MulBackward 0>，a.grad_fn = <AddBackward 0>，b.grad_fn = <AddBackward 0>。动态图和静态图就好比我们去国外旅游，动态图就是自己规划出行方式、游玩行程等，而静态图就是跟团走，路线固定，不灵活但高效。构建这样的计算图是很方便求解梯度的，以对w求偏导为例，计算图是用来描述运算的有向无环图(DAG)，它包含了。，可以理解为 Tensor，而。

🧠 PyTorch Tensor 操作的三条铁律①是否拷贝数据，不看“函数名”，看storage 是否共享②→ 改的是元数据（shape / stride），不是数据dtype 改变device 改变明确的 clone()

以单个元素索引为例子，各维度索引值 × stride 的加和相等（等于线性内存偏移），无论一维、二维、多维。如下9这个元素在1维的索引是8，2维的索引是[2][0]，3维的索引是[1][1][0]。从不同的角度看，叫法不同。深度学习角度看张量，本质上就是多维数组ndarray。先拆成两份，在对每一份拆成三份，剩下的自动拆分。N维数组是机器学习和神经网络的主要数据结构。这么多括号，看的人有点乱，下面说点直观。这么多括号，看的不舒服，我们来拆分。先拆成三份，再自动拆成了四份。