xiaojiajia007的博客

Install Nvidia Apex若第一次安装需要把项目从github克隆到本地Clean the old install before rebuilding:pip uninstall apexcd apex_repo_dirrm -rf build (if present)rm -rf apex.egg-info (if present)Install package：...

1. 中心点对齐的计算方法我们常常需要得出缩放前后某个像素位置和原始位置的精确坐标值，这时候就需要考虑几何中心点对齐，以下分析都是基于中心点对齐的缩放。缩放过程中，我们需要为目标图像dstImg上的每个像素位置找到与之对应的原图像srcImg的位置，并把srcImg上对应的像素值填入dstImg的该坐标位置处。若映射回原图srcImg的坐标位置不是整数，那么就需要做插值，算出映射回去的非整数坐...

What is the difference between FusedAdam optimizer in Nvidia AMP package with the Adam optimizer in Pytorch?摘录自The Adam optimizer in Pytorch (like all Pytorch optimizers) carries out optimizer.step(...

Source内容速览‘train.py’: single training process on one GPU only.‘train_parallel.py’: signle training process on multiple GPUs using Dataparallel (包括不同GPU之间的负载均衡).‘train_distributed.py’ (recommended...

使用model.named_parameters()可以轻松搞定，model.cuda()# ######################################## Froze some layers to fine-turn the model ########################for name, param in model.named_paramete...

Stochastic Weight Averaging in PyTorch | PyTorch.pdf具体指导请参见上的的pdf文件SWA为什么有效Figure 1. Illustrations of SWA and SGD with a Preactivation ResNet-164 on CIFAR-100 [1]. Left: test error surface for thr...

先说我认为的结论，若夸卡训练中有统计数据同步（比如BN层的runing average 和 variance），这时单卡和多卡效果是一样的，只不过多卡增大了batch size，否则就不是严格的增大batch，因为统计数据可能不够准确。可以参考一下我摘录的小笔记，以BN层为对象，思考一下其他老师同学的回答：Pytorch Batch Normalizatin layer的坑在实际应用中，增大b...

1. 注意momentum的定义Pytorch中的BN层的动量平滑和常见的动量法计算方式是相反的，默认的momentum=0.1x^ new =(1− momentum )×x^+ momemtum ×xt\hat{x}_{\text { new }}=(1-\text { momentum }) \times \hat{x}+\t...

python中多进程种子seedpython自带的random在不同子进程中会生成不同的种子，而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed()，并且种子与多进程的worker id有关（查看**worker_init_fn参数说明）。但是三者互不影响，必须独立...

1.对于在求梯度阶段需要用到的张量不能使用 inplace operation有时为了节省内存，比如ReLu单元，我们可以使用inplace=True来将output tensor 覆盖在input tensor的内存位置上。但是从pytorch中的autograd的视角来看，依然将会追踪到两个不同的tensor，只不过是这两个tensor在内存中处于同一个位置。如果在反向传播中，需要使...

mask = mask_miss.expand_as(sxing).clone() # type: torch.Tensormask[:, :, -2, :, :] = 1 # except for person mask channel为了避免对expand后对某个channel操作会影响原始tensor的全部元素，需要使用clone()如果没有clone(...

转载：https://github.com/jwyang/faster-rcnn.pytorch/issues/2221. 优化器状态保存的是cuda类型Tensor，但是再入时为了节省内存，实用了map to cpu，因此完成载入后需要再转换成cuda类型Tensoryou can re-initialise the weights manually using thismodel...

python自带的random在不同子进程中会生成不同的种子，而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed()，并且种子与多进程的worker id有关（查看worker_init_fn参数说明）。但是三者互不影响，必须独立地处理。因此在写自己的数据准备代码时，...

简单地说，推荐使用detach()，因为这样更安全。知乎上有篇说明：https://zhuanlan.zhihu.com/p/38475183"However, .data can be unsafe in some cases. Any changes on x.data wouldn’t be tracked by autograd, and the computed gradi...

简而言之就是，nn.Sequential类似于Keras中的贯序模型，它是Module的子类，在构建数个网络层之后会自动调用forward()方法，从而有惯序网络模型生成。而nn.ModuleList仅仅类似于pytho中的list类型，只是将一系列层装入列表，并没有实现forward()方法，因此也不会有网络模型产生的副作用，但它有和纯python中的list不同，用nn.ModuleLis...