AndyJ的学习之旅

图创建 创建和运行计算图可能是两个框架最不同的地方。 在PyTorch中，图结构是动态的，这意味着图在运行时构建。 而在TensorFlow中，图结构是静态的，这意味着图先被“编译”然后再运行。 PyTorch中简单的图结构更容易理解，更重要的是，还更容易调试。调试PyTorch代码就像调试Python代码一样。你可以使用pdb并在任何地方设置断点。调试TensorFlow代码可不容易。要么得从会话请求要检查的变量，要么学会使用TensorFlow的调试器（tfdbg）。 灵活性 tensorflow：静态

概要 使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval eval()时，框架会自动把 BN 和 DropOut 固定住，不会取平均，而是用训练好的值，不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！ model.train() 启用 BatchNormalization 和 Dropout model.eval() 不启用 BatchNormalization 和 Dropout 训练完train样本后，生成的模型mode

dive into DL PyTorch basic knowledge main tools torch.utils.data模块提供了有关数据处理的工具， torch.nn模块定义了大量神经网络的层， torch.nn.init模块定义了各种初始化方法， torch.optim模块提供了模型参数初始化的各种方法 softmax回归适用于分类问题。它使用softmax运算输出类别的概率分布。 s...

nn.Module实现的layer是由class Layer(nn.Module)定义的特殊类，会自动提取可学习参数nn.Parameter nn.functional中的函数更像是纯函数，由def function(input)定义。 对于激活函数和池化层，由于没有可学习参数，一般使用nn.functional完成 其他的有学习参数的部分则使用类。 但是Droupout由于在训练和测试时操作不同，所以建议使用nn.Module实现，它能够通过model.eval加以区分。 import torch as