qq_34009929的博客

https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247522755&idx=1&sn=d2c8adbb68ed6e34978c81312cb27040&chksm=ec1c743adb6bfd2ce7aa68505d6dc304839cbb08f1a1fd4440f1086b54c7ffb73669d0685b53&mpshare=1&scene=1&srcid=11213YuGOVIn87

使用DataLoaders DataLoader中的workers数量 Batch size 梯度累计 保留的计算图 移动到单个 16-bit 混合精度训练 移动到多个GPUs中（模型复制） 移动到多个GPU-nodes中 (8+GPUs) 思考模型加速的技巧 https://mp.weixin.qq.com/s?__biz=Mzg4NDA5MDcxMg==&mid=2247490716&idx..

https://www.zhihu.com/question/61044004?sort=created

神经网络的典型处理如下所示：定义可学习参数的网络结构（堆叠各层和层的设计）；数据集输入；对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播；计算loss ，由Loss层计算；反向传播求梯度；根据梯度改变参数值,最简单的实现方式（SGD）为:weight = weight - learning_rate * gradient下面是利用PyTorch定义深度网络层（Op）示例：class FeatureL2Norm(torch.nn.Module):def init(se

torch.manual_seed(seed)– 官方文档说明：设置 (CPU) 生成随机数的种子，并返回一个torch.Generator对象。设置种子的用意是一旦固定种子，后面依次生成的随机数其实都是固定的。通过代码说明一下:import torchrandom_seed = 123torch.manual_seed(random_seed)print(torch.rand(1)) # 随机生成[0, 1)的数print(torch.rand(1))"""Out:ten.

问题描述：最近在用RFBnet （源码是pytorch的）训练RSNA的比赛数据，除了要修改一点代码支持RSNA的数据集外（打算后续再写个博客），发现在使用dataloader读取数据时，如果设置num_workers为0，也就是用主进程读取数据，模型训练程序运行正常。如果设置num_workers为其他任何一个大于0的整数，也就是使用子进程读取数据时，训练程序会卡住,卡在训练之前，GPU使用率和显存占用率都为0。解决过程：由于是多进程就，用print调试大法，定位到是一行opencv代码.

30min入门：http://www.pytorch123.com/