自动求导 autograd的计算图架构

首先要明确的是，一张计算图S 

 图源：CMUdeeplearning

我们想要在计算机语言中表征这个图模型，当然可以通过传统矩阵的方式，但是构建矩阵的话就忽略了计算图中 “计算” 的中心地位，所以我们采取了以运算为核心，先构造运算，再构造输入，每一个输入都可以看成一个tensor。

每一个输入都包含了上一次的输入，这里的意思相当于层层包裹，把每一次的运算和输入都包裹在一个tensor里面。

例如 d = a*b +a 当然你也可以之前就定义a*b 为 f,g, 这样我们就构造了一个可以任意表征输入组合关系的图模型。

这就是变量的模块组合包装过程，不难看出，我们可以在得到最后一个包裹之前观测到中间的各种小箱子和“中型”的箱子。