weixin_42108090的博客

torch SGD官方文档torch SGD 源码

自定义nn模块：有时候需要指定比现有模块序列更复杂的模型；对于这些情况，可以通过继承nn.Module并定义forward函数，这个forward函数可以 使用其他模块或者其他的自动求导运算来接收输入tensor，产生输出tensor。在前向传播的函数中，我们接收一个输入的张量，也必须返回一个输出张量。我们可以使用构造函数中定义的模块以及张量上的任意的（可微分的）操作。构造损失函数和优化器。 SGD构造函数中对model.parameters()的调用，将包含模型的一部分，即两个nn.Linear模块.

使用nn包将我们的模型定义为一系列的层。 nn.Sequential是包含其他模块的模块，并按顺序应用这些模块来产生其输出。每个线性模块使用线性函数从输入计算输出，并保存其内部的权重和偏差张量。 在构造模型之后，我们使用.to()方法将其移动到所需的设备。nn包还包含常用的损失函数的定义； 在这种情况下，我们将使用均方差(MSE)作为我们的损失函数。 设置reduction=‘sum’，表示我们计算的是平方误差的“和”，而不是平均值; 这是为了与前面我们手工计算损失的例子保持一致， 但是在实践中，通过设.

(TF)为输入和目标数据创建placeholder；当执行计算图时，他们将会被真实的数据填充。为权重创建Variable并用随机数据初始化 TensorFlow的Variable在执行计算图时不会改变。前向传播：使用TensorFlow的张量运算计算预测值y。 注意这段代码实际上不执行任何数值运算； 它只是建立了我们稍后将执行的计算图。...

要在GPU上运行Tensor,在构造张量使用device参数把tensor建立在GPU上。可以使用自动微分来自动计算神经网络中的反向传播。 PyTorch中的 autograd包提供了这个功能。如果我们想计算某些的tensor的梯度，我们只需要在建立这个tensor时加入这么一句：requires_grad=True。这个tensor上的任何PyTorch的操作都将构造一个计算图，从而允许我们稍后在图中执行反向传播。如果这个tensor x的requires_grad=True，那么反向传播之后x.g.

图信号初步无向图可定义为：G=(V,E)节点，边定义邻接矩阵A ，则一个带有N 个节点的图可以用大小为N∗N 的A 表示，其中A(i,j)=wij .在简单图中，A 的元素只由0和1构成。1表示该边存在，反之则为0 .若给定一个简单图（simple graph）的邻接矩阵A 和维度矩阵D 。则这个图的Laplacian Matrix也可定义为：L=D−A图信号傅里叶变换（Grap...