Pytorch 学习 - 5.pytorch 张量数学-计算图

先掌握pytorch，学好pytorch,  才能学好人工智能

计算图（computation graph）

是机器学习，特别是在深度学习框架（如PyTorch和TensorFlow）中用于表示和跟踪计算过程的一种结构。计算图由节点（nodes）和边（edges）组成，其中节点表示变量或操作（如加法、乘法、激活函数等），边则表示数据或梯度的流动方向。

在计算图中：

• 节点（Nodes）：
  • 变量节点：存储数据，如输入特征、模型参数（权重和偏置）、中间计算结果等。
  • 操作节点：执行数学运算或函数调用，如加法、乘法、ReLU激活函数等。
• 边（Edges）：
  • 数据流：从输入节点到输出节点的数据流，表示数据在计算图中的传递路径。
  • 梯度流：在反向传播过程中，从输出节点到输入节点的梯度传递路径。

梯度求导

梯度求导是计算图中每个变量相对于损失函数的偏导数的过程。这些偏导数用于在反向传播过程中更新模型的参数，以最小化损失函数。

• 链式法则：在计算图中，梯度求导通常使用链式法则。链式法则允许我们通过计算图中每个节点的局部梯度（即该节点相对于其直接依赖的节点的梯度&#x