Harvey_Hawk的博客

Pytorch一般有两种图像数据读取方式：1、在每次迭代时，读取当前用到的图像：因为图像只有在用到的时候才写进内存，所以内存占用很小；但是这样每次迭代之前都有一个imread的过程，从而导致GPU利用率忽高忽低，且利用率峰值也很低，训练时间很长；2、事先读取所有图像：如果数据集较大的话，读取完整数据集的过程会耗费大量时间，内存占用也会很大；不过因为不用在迭代之前读图，所以GPU利用率会稳定在一个很高的值，大幅降低整体训练时间。注：在Windows系统中可以在任务管理器里查看GPU使用情况，但上面

最近在做目标检测，需要把训好的模型放到嵌入式设备上跑前向，因此得把各种层的实现都用C手撸一遍，，，此为背景。其他层没什么好说的，但是BN层这有个小坑。pytorch在打印网络参数的时候，只打出weight和bias这两个参数。咦，说好的BN层有四个参数running_mean、running_var 、gamma 、beta的呢？一开始我以为是pytorch把BN层的计算简化成weight *...