Jerry的博客

张量的秩，论文还没看完，补充ing

反向传播的目标是计算损失函数（这里假设为 g）对每个中间变量和输入的偏导数。类是核心，它代表计算图中的一个节点，并实现了各种数学运算。方法实现了反向传播算法，使用拓扑排序确保正确的计算顺序。前向传播按照上述顺序计算每个节点的值。，并定义了相应的反向传播函数。

张量是一个多维数组。从概念上讲，它是将向量的想法推广到多维度的结果。更正式地说，阶数为d的张量（或称d维张量）是一个实数的d维数组，我们用A∈RN1×N2×⋯×NdA∈RN1​×N2​×⋯×Nd​来表示。阶数 (d)名称数学符号数学表示示例0标量希腊字母α∈Rα∈R51向量小写字母（有时在上方加一横）a∈RN或aˉ∈RN。

占位

创建方式描述是否自动计算梯度创建一个包含数据的张量，默认不启用梯度计算。否（除非设置创建一个全0的张量，默认不启用梯度计算。否（除非设置创建一个全1的张量，默认不启用梯度计算。否（除非设置创建一个张量，并用指定值填充，默认不启用梯度计算。否（除非设置创建一个包含从start到end的序列的张量，默认不启用梯度计算。否（除非设置创建一个包含线性间隔的序列的张量，默认不启用梯度计算。否（除非设置创建一个包含均匀分布随机数的张量，默认不启用梯度计算。否（除非设置。

在 PyTorch 的自动求导机制中，叶子张量是计算图中的最基础的节点（或源节点），它们通常由用户直接创建，并且不会通过任何操作进一步派生出新的张量。叶子张量: 是计算图中不依赖其他张量的张量。通常是通过直接创建张量的操作（例如等）生成的。叶子张量通常代表模型的输入数据或参数。叶子张量: 通常是由用户直接创建的，不依赖其他张量。默认情况下，的张量会被视为叶子张量。非叶子张量: 是通过其他张量的操作生成的，的张量，如果不是直接创建的张量，而是通过计算生成的，则不是叶子张量。中间计算结果。