猫猫与橙子的博客

在conda中一键安装pytorch

pytorch训练人脸识别报错：cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you passed in a non-contiguous处理方法：在代码中添加“torch.backends.cudnn.enabled = False”问题解决参考链接：https://discuss.pytorch.org/t/resolved-batchnorm1d-cudnn-status-not-supported/30

总计学习一下pytorch的各种loss函数：目录1.L1 loss2.MSE Loss3.CrossEntropy Loss4.NLL Loss5.Poisson Loss6.KLDiv Loss7.BCELoss8.BCEwithLogitsLoss9.MarginRanking Loss10.HingeEmbeddingLoss11.Multi...

最近使用pytorch训练人脸属性分类，关注到训练时的图像增强方法，常规使用方法是transform，之前没有特别留意过transform的使用。今天看了几篇帖子，稍微总结一下pytorch是怎样对数据进行预处理。直接上源码，还是放最后吧（因为我也讨厌直接看有源码的博客，呵呵呵），先讲一下调用流程：目录一、pytorch框架加载数据的调用函数解析二、数据在哪里正式对数据进行预处理...

目录1）torchvision.transforms.ToTensor2）pytorch的图像预处理和caffe中的图像预处理写这篇文章的初衷，就是同事跑过来问我，pytorch对图像的预处理为什么和caffe的预处理存在差距，我也是第一次注意到这个问题；1）torchvision.transforms.ToTensor直接贴代码：第一段代码：class ToTen...

这不是第一次转模型了，但是还是折腾了两天，然后将转换之中遇到的问题总结以下：1）caffe的prototxt手动构建时一定要仔细，不然容易出错；（我自己在构建时就是拿着代码forward运行一行一行进行的对比记录）；2）数据的预处理一定要保持一致，否则模型转换后，可能参数拷贝已经成功，但是由于预处理的差距，导致最终结果不一样；3）SSD中有detectout层，而detectout层中...

转换基本流程：1）创建pytorch的网络结构模型；2）利用mxnet来读取其存储的预训练模型，用于读取模型的参数；3）遍历mxnet加载的模型参数；4）对一些指定的key值，需要进行相应的处理和转换；5）对修改后的层名（key值），利用numpy之间的转换来实现加载；6）对相应层进行参数（feature）进行比较；流程基本是与caffe模型转pytorch模型这篇文章...

转换基本流程：1）创建pytorch的网络结构模型；2）利用caffe来读取其存储的预训练模型，用于读取caffe模型的参数；3）遍历caffe加载的模型参数；4）对一些指定的key值，需要进行相应的处理和转换；5）对修改后的层名（key值），利用numpy之间的转换来实现加载；6）对相应层进行参数（feature）进行比较；以下以SE_Resnet50为例，将caff...

个人总结，pytorch中提取任意层的feature有两种方法，这两种方法是根据网络构建的方法不同而产生的；首先来介绍第一种：以mobileFaceNet为例，看一下mobileFace构建的网络代码：class MobileFaceNet(Module): def __init__(self, embedding_size,class_num): super...

最近在看InsightFace的代码，特别是数据加载那块的代码，由于本身的数据加载太慢（数据量总共是6930097张图片，而有181475个类别），在GTX1070上统计了一下电脑遍历时间：1486.17s（约24分钟），所以想改善下数据加载的方式，改善后数据加载只需要11.45s。torchvision源码解析（源代码加载）：import torch.utils.data as dat...

1.ValueError: Expected more than 1 value per channel when training, got input size [1, 512, 1, 1]（参考：https://blog.youkuaiyun.com/sinat_39307513/article/details/87917537）出现 ValueError: Expected more than...

代码来源：https://github.com/miraclewkf/MobileNetV2-PyTorchoptimizer_ft = optim.SGD(model.parameters(), lr=args.lr, momentum=0.9, weight_decay=0.00004)Momentum（资源来自：https://www.cnblogs.com/callyblo...

File "/home/fuxueping/sdb/Caffe_Project_Train/github/InsightFace_Pytorch-master_new/Learner.py", line 295, in train for batch_idx, (batch_sample) in progress_bar: File "/home/fuxueping/anaco...

1.多GPU训练，出现out of memory出现情景：预训练模型是使用gpu0训练得到，然后要在多gpu的服务器上进行微调，使用gpu id为[4,5,6,7]，然后出现报错如下：cuda runtime error (2) : out of memory at /pytorch/aten/src/THC/THCTensorRandom.cu:25错误原因分析：在加载预训练模型的...

使用场景：最近在复现《Triplet Distillation for deep face recognition》的蒸馏方法，使用深度学习框架pytorch。两个网络，一个网络要固定住参数，loss不回传，参数不更新；另一个网络使用第一个网络的loss进行loss计算，进行正常的网络更新学习；网上找到一些方法：参考：https://blog.youkuaiyun.com/AManFromEarth/ar...

模型在服务器多gpu上训练，测试在自己台式机上进行，只有一块gpu，测试报错： File "/home/fuxueping/sdb/PycharmProjects/face_recognition/test_face_recognition_pytorch.py", line 563, in <module> test(method) File "/home/fu...

目录多线程加载图片tensorboard可视化1）多线程加载图片参考https://www.jianshu.com/p/98d3a23a2d62（在进行人脸识别模型训练时遇到），多线程读图，可以充分发挥GPU的利用率，加快训练速度；2）tensorboard可视化pytorch训练产生的日志文件，查看使用tensorboard，conda虚拟环境激活安装使用以下命名行...

1.expected backend CPU and dtype Float but got backend CUDA and dtype Float；