reform513的博客

Receiptive Field: 特征图上每个grid（一个特征向量, 维度=nchannels）所对应的输入图片上一个矩形区域感受野不是越大越好 ，比如在文本识别任务中，特征序列的每个step的感受野和一个word的大小相当理论上是最好的，太大的话，一个激活对应这个几个文字，反而不利于分类。...

torch.distributed支持3中backends，'gloo', 'mpi' 和 'nccl', 每种backend支持的函数是不同的，需要查表确认https://pytorch.org/docs/stable/distributed.html#下面以backend = 'nccl' 为例， 演示获取分布在不同GPU上的某个tensor的值的方式1. reduce or all_reduce # 获取该tensor的均值box_iou = comput...

BN 存在哪些问题：1. BN 依赖大batch size, 当 batch size 太小时， batch statistics 变得不准确； 而显存限制了batch size变大，尤其在检测、分割等比较占用显存的模型上。 batch size上又是一个工程问题, 毕竟去年的coco，Face++主要赢在大batch上，这是最重要的motivation。2.BN要求batch分布比较理...

Normalisationadjusts the data;regularisationadjusts the prediction function.

In this post, I am going to give a comprehensive overview on the practice of fine-tuning, which is a common practice in Deep Learning.First, why do we fine-tune Models?When we are given a

STN架构中，分为三个部分：Localisation netGrid generatorSamplerLocalisation net 把feature map U作为输入，过连续若干层计算（如卷积、FC等），回归出参数θ，在我们的例子中就是一个[2，3]大小的6维仿射变换参数，用于下一步计算；Grid generator 在source图中找到用于做插值（双线性插

OverviewWith the kernel I am trying to run a simple test on using Siamese networks for similarity on a slightly more complicated problem than standard MNIST. The idea is to take a randomly initialized...