BeiErGeLaiDe的博客

这两种方式得到的训练结果从第二个Epoch开始就是不同的，且val前后模型的weights没变，那应该就是生成的随机数变了。我在刚接触pytorch的时候搜到了这个大佬的文章，当时最后天坑部分没有看的太明白，直到今天我也遇到的相同的问题，特来做一点点补充，方便大家理解。设置完这些，基本99%的情况下都可以复现结果，如果无法复现，那就重启notebook 或者python。以上就是Pytorch代码的复现终极指南，保险起见的话，先把能加的都加上，然后看能否复现。强制每次train之前empty_cache；

有时候在pytorch中使用tensorboard时，生成的指标不对，。。。按照上面的代码，不仅可以修改scalar的tag，还可以修改对应的值，时间等等，都是可以修改的。

Adam，名字来自：Adaptive Moment Estimation，自适应矩估计。是2014年提出的一种万金油式的优化器，使用起来非常方便，梯度下降速度快，但是容易在最优值附近震荡。竞赛中性能会略逊于SGD，毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。...

keras timeline 性能分析 性能优化 fit_generator网上的大多都是tensorflow的timeline教程，千篇一律。我自己却用的是keras，不为别的，就是图个简单易用。我用fit_generator训练模型，现在需要对模型的训练和推理的时间和性能进行分析和优化。自己找了几天的资料，终于跑出来了，mnist示例代码已经开源，欢迎来我github点小星星。web link:https://github.com/YalongLiu/keras-timelinegit.

现象：最近用google colab训练模型。分布在mnist和自定义的数据集上面训练好了两个CapsuleNet。colab 测试通过，一切正常。权重下载下来本地测试时发现：mnist的模型一切正常，但是自定义数据集上面的CapsuleNet在本地再次训练时直接爆炸了，其每个类别的推理结果都是乱码。网上解决方案：99%都是自己代码的问题，自己debug去（输入网络的数据对不对，本地代码的设置对不对，代码是不是与服务器中的一致等）。现象解释：经过脱发测试，发现是本地环境问题。测试验证：本地使用C

本文作者陈云。本文原载于作者的知乎专栏——人工智障的深度瞎学之路，AI 研习社授权转载。深度学习最吃机器，耗资源，在本文，我将来科普一下在深度学习中：何为 “资源”不同操作都耗费什么资源如何充分的利用有限的资源如何合理选择显卡并纠正几个误区：显存和 GPU 等价，使用 GPU 主要看显存的使用？

深度学习性能提升的诀窍                                                                               Pedro Ribeiro Simoes拍摄原文： How To Improve Deep Learning Performance作者： Jason Brownlee标题: 深度学习数据