LIWEI940638093的博客

Batch Normalization里有一个momentum参数, 该参数作用于mean和variance的计算上, 这里保留了历史batch里的mean和variance值,即 moving_mean和moving_variance, 借鉴优化算法里的momentum算法将历史batch里的mean和variance的作用延续到当前batch.多个batch后, 即多个0.9连乘后,最早的batch的影响会变弱.

Deep Learning with PyTorch: A 60 Minute Blitz一.WHAT IS PYTORCH二.AUTOGRAD: AUTOMATIC DIFFERENTIATION三.NEURAL NETWORKS四.Training a Classifier 只是个人学习的笔记，内容主要是pytorch官网的tutorials部分的Deep Learning with PyTorch: A 60 Minute Blitz，其中添加了我自己的说明 pytorch官网有对下部分内容的大全面说

LEARNING PYTORCH WITH EXAMPLES一.Tensors1.Warm-up：numpy预热/热身赛2.PyTorch: Tensors二.Autograd1.PyTorch: Tensors and autograd2.PyTorch: Defining new autograd functions定义新的autograd函数 这一部分通过一些例子来引入Pytorch的一些基本概念 Pytorch提供两个基本的特征： n维Tensors，类似于numpy，但是可以在GPUs上运行 可

WHAT IS TORCH.NN REALLY?1.MNIST data setup2.Neural net from scratch (no torch.nn)从无到有神经网络(不用torch.nn)3.Using torch.nn.functional4.Refactor using nn.Module 注意：这一节内容是一个整体，底下每个标题只是一个步骤 建议这部分内容作为notebook来运行，而不是作为 script运行。点击页面顶部的link“Download Notebook”就可以下载Not

Pytorch图像分类从模型自定义到测试1 什么是 Pytorch1.1 特点1.2 重要概念2 Pytorch 训练2.1 数据读取2.2 模型定义3 模型训练4 Pytorch 测试 来源：https://mp.weixin.qq.com/s?__biz=MzA3NDIyMjM1NA==&mid=2649029881&idx=1&sn=3c869fcee3b48d3582952ab9a0683ea6&chksm=87134284b064cb924c5e7231b3f2c3

无

DataLoader 和 Dataset一 要点总结二 示例1 用 torch.utils.data.Dataset.TensorDataset 来将数据包装成Dataset类2 继承 torch.utils.data.Dataset类 ，实现类中的 len 方法和getitem 方法3 torchvision.datasets.mnist使用示例 参考： https://blog.youkuaiyun.com/zw__chen/article/details/82806900 https://blog.csdn.n