程序媛

之前写过一篇caffe版本的，这次需要pytorch版本的发现踩坑了，主要踩坑是grad不管怎么弄都是None，查了资料发现是pytorch释放了，所以需要加hook才行。记录一下备忘。import cv2import torchimg_path = 'path/test_img.jpg' #测试用的图片路径img_and_saliency_map_name = 'outpath/img_and_saliency_map.jpg'#待求的 图片+saliency intensity map的叠加图

caffe里面用BN层的时候通常后面接一下scale层，原因如下：caffe 中为什么bn层要和scale层一起使用 这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。 1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。 2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和...

答案：不怕不怕，pytorch自己默认有初始化证据如下：1) torch.nn.Conv2d的参数初始化 https://pytorch.org/docs/stable/_modules/torch/nn/modules/conv.html#Conv2d Conv2d继承自_ConvNd，在_ConvNd中，可以看到默认参数就是进行初始化的，如下图所示 2）torch.nn....

最近遇到一个问题，同样的一个网络，稍微改了一丢丢地方，居然会导致结果差异天差地别，看loss函数可以大概知道model1有问题。但是其实也可以从另一个角度，比如参数的分布来看，这里就介绍一下我的做法。（pytorch 用tensorboardX， tensorflow用tensorboard）一共四个小实验实验1，对比model 1和model 2的参数histogram示例代码：服务器上...

参考链接：https://github.com/lanpa/tensorboardXhttps://blog.youkuaiyun.com/xiepengyue666/article/details/80236082 #服务器上调用tensorboard，参考tensorboardX官方提供的demo.pyfrom tensorboardX import SummaryWriterwriter = S...