律己且好学，才能保证不坠入愤世嫉俗之列。

pytorch下可采用visidom作为可视化工具1. 安装pip install visdomconda install visdom2.启动python -m visdom.server -p 端口号这里的端口号是GPU服务器可以使用的端口号然后在浏览器输入：GPU服务器IP:端口号，即可启动eg：XX.XXX.XX.XXX：10040这是启动后的窗口界面~...

转自原文：https://blog.youkuaiyun.com/dcrmg/article/details/79144507LMDB的全称是Lightning Memory-Mapped Database(快如闪电的内存映射数据库)，它的文件结构简单，包含一个数据文件和一个锁文件：LMDB文件可以同时由多个进程打开，具有极高的数据存取速度，访问简单，不需要运行单独的数据库管理进程，只要在访问数据的代码...

启动Tensorboard时报错：class BeholderHook(tf.estimator.SessionRunHook):AttributeError: module ‘tensorflow.python.estimator.estimator_lib’ has no attribute ‘SessionRunHook’谷歌一番，找到了解决办法：是因为版本不对应，版本这个坑，，，，哎...

安装pip install tensorboardX （对应tensorflow的版本）或者源文件编译：git clone https://github.com/lanpa/tensorboardX && cd tensorboardX && python setup.py install测试clone上面的链接后，使用里面的例子进行测试：pyth...

根据官网提供的旧版本的下载办法：安装pytorch0.4.0：sudo pip install torch==0.4.0 -f https://download.pytorch.org/whl/cu90/stable但是呢，极其慢，然后还断了！！！别急，下面就给解决方案：配置pip镜像源由于pytorch的安装包有500M左右的大小，不设置镜像源可能因为网速问题而失败。国内镜像源列...

当我在运行make.sh脚本的时候，出现以下错误： error: #error -- unsupported GNU version! gcc versions later than 6 are not supported!经过一番谷歌，尝试到可用的解决办法是：修改gcc的版本，具体操作如下：sudo rm /usr/local/cuda/bin/gccsudo rm /usr/loc...

运行faster-rcnn.pytorch/lib/make.sh脚本，出现错误：' error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 '谷歌到很多办法，但是最终发现是版本问题，修改pytorch的版本为0.4.0，就很好的解决问题了当然，每个人的问题原因可能不太一样，在此给出觉得不错的回答链接，大家可以参考下：...

pytorch-faster-rcnn中的make.sh脚本中的关于GPU model对应的arch，这个真的很坑，由于本人的服务器是Tesla P100的，但是呢，一直因为是Tesla k80！！！根据这篇博客：https://blog.youkuaiyun.com/kkk584520/article/details/53814067了解到Tesla P100对应arch是sm_60，因为只需要在mak...

转载自： https://blog.youkuaiyun.com/u012436149/article/details/76714349pytorch 的 Variable 对象中有两个方法，detach和 detach_ 本文主要介绍这两个方法的效果和 能用这两个方法干什么。detach官方文档中，对这个方法是这么介绍的。返回一个新的 从当前图中分离的 Variable。返回的 Variable...

复现faster RCNN的一些坑啊最近在复现faster RCNN的代码https://github.com/jwyang/faster-rcnn.pytorch/tree/master，遇到了很多问题，一点点解决过来了，这不，在pytorch加载预训练模型的时候又遇到了这个问题：RuntimeError: unexpected EOF. The file might be corrupte...

这个问题是发生在用自己的数据训练faster rcnn的时候~问题：File "/py-faster-rcnn/tools/../lib/datasets/imdb.py", line 108, in append_flipped_images assert (boxes[:, 2] >= boxes[:, 0]).all()AssertionError分析：可能是自己的...

之前都是在本地下载，然后传到服务器上，可是最近复现深度学习代码时候，传输预训练模型的时候，发现ftp传输啊，总是有问题，有时候文件损坏，这个坑好浪费时间！！！后来想到了wget，直接在服务器wget下载不就可以了？果然很好用：tips：下载链接怎么获取呢？我们在git仓库中的VGGnet_fast_rcnn_iter_70000.h5上右键，然后点击复制链接地址：如下之后在服务器上粘贴即...

复现代码的坑！！！最近在复现大神的代码，代码链接：https://github.com/longcw/faster_rcnn_pytorch当然不可能一帆风顺，一路上出现各种问题，差点崩溃~Pytorch版本必须是0.4.0,Pytorch版本必须是0.4.0,Pytorch版本必须是0.4.0！！！重要的事说三遍！！！如果你是小白，那么你很幸运读到这篇博客，因为这篇博客就是小白式的复现，...

转自原文：https://blog.youkuaiyun.com/CV_YOU/article/details/86670188有时候,我们用pytorch进行多卡GPUs训练时候,保存模型应该用下面语句:torch.save(model.module.state_dict(), model_out_path)但是忘记加module了,直接用torch.save(model.state_dict()...

转自原文：https://blog.youkuaiyun.com/qq_29023939/article/details/88405459一.指定一个gpu训练的两种方法：1.代码中指定import torchtorch.cuda.set_device(id)2.终端中指定CUDA_VISIBLE_DEVICES=1 python 你的程序其中id就是你的gpu编号二.多gpu并行训练：...

转自：https://blog.youkuaiyun.com/tsq292978891/article/details/83586935背景在公司用多卡训练模型，得到权值文件后保存，然后回到实验室，没有多卡的环境，用单卡训练，加载模型时出错，因为单卡机器上，没有使用DataParallel来加载模型，所以会出现加载错误。原因DataParallel包装的模型在保存时，权值参数前面会带有module字符...

1.保存模型与加载模型2.冻结一部分参数，训练另一部分参数3.采用不同的学习率进行训练1.保存模型与加载简单的保存模型与加载方法：# 保存整个网络torch.save(net, PATH) # 保存网络中的参数, 速度快，占空间少torch.save(net.state_dict(),PATH)#针对上面一般的保存方法，加载的方法分别是：model_dict=torch.l...

visdom的github repo: https://github.com/facebookresearch/visdom知乎一个教程：https://zhuanlan.zhihu.com/p/34692106上次写过Visdom在服务器端启动的博文：https://blog.youkuaiyun.com/qq_18649781/article/details/89188326这次简单介绍下在Pyt...

PyTorch默认使用从0开始的GPU，如果想用其他GPU，需要指定。有两种方法可以指定需要用的GPU：1.类似tensorflow指定GPU的方式，使用CUDA_VISIBLE_DEVICES1.1 直接终端中设定：CUDA_VISIBLE_DEVICES=1 python main.py1.2 python代码中设定：import osos.environ["CUDA_VISI...

当试图将存储在GPU（cuda）中的张量值转换为numpy时，假设张量变量为x，然后，使用x.numpy（）会引发：TypeError: can’t convert CUDA tensor to numpy，这样的错误。其实解决方案很简单，通过将数据恢复到cpu然后使用numpy即可，如下所示：x.cpu().numpy(）但是，如果想要找到argmax，可以通过output.argmax...

运行代码时，对于以下内容：for batch_size, image in enumerate(data_loader): image = Variable(image, volatile=True)出现错误：Volatile = now has no effect. Usewith torch.no_grad():instead.解决方法很简单，如下：for ba...

转自来源：优快云原文：https://blog.youkuaiyun.com/TH_NUM/article/details/80877435介绍常用的pytorch Dataset 里面的ImageFolder，实现和https://blog.youkuaiyun.com/TH_NUM/article/details/80877196很相似。ImageFolder假设所有的文件按文件夹保存好，每个文件夹下面存贮同...

概念综述：batch_size可以理解为批处理参数，它的极限值为训练集样本总数，当数据量比较少时，可以将batch_size值设置为全数据集（Full batch cearning）。实际上，在深度学习中所涉及到的数据都是比较多的，一般都采用小批量数据处理原则。小批量训练网络的优点：相对海量的的数据集和内存容量，小批量处理需要更少的内存就可以训练网络。通常小批量训练网络速度更快，例如我们...

optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.在学习pytorch的时候注意到，对于每个batch大都执行了这样的操作： # zero the parameter gradients optimizer.zero_grad() # forward + backward + optimize...

本文转载自：http://www.zhongruitech.com/856941441.html0.前言之前是使用了mnist数据，且网络结构比较简单，针对自己的数据，如何使用更复杂、经典的网络呢？1.数据集目标是人脸识别，可以看做一个多分类问题，本次实验的数据集为ferest，共200个人，1400张38080图片，比较小。分为 train 和 val两个目录，每个目录下都有200个...

自从入坑深度学习，一直都是用现有的数据集进行训练网络，今天想自己制作自己的数据集，因此将收集到的图片进行数据集制作。我的图片是人眼睛的图片，平均每个人有40张图片，命名是一个人的图片名称的前几个是一样的，后面是按顺序增加的，全部图片是在一个文件夹下，并有一个txt文档罗列出来全部的图片。目标：将图片分成3大部分，按照7:2:1的比例，分别作为训练集、验证集以及测试集，并实现一个人一个文件夹，文...

最近在学习Pytorch的时候遇见了一个很棘手的函数gather，之前也转载了一个博客，但是也似懂非懂的，今天在此总结下，以便后续需要~首先贴一下官方的介绍：torch.gather(input, dim, index, out=None) → TensorGathers values along an axis specified by dim.（沿着dim指定的轴聚集 s值。）Fo...

假设输入图片大小是100×100，经过一层卷积（kernel size 5×5，padding 2，stride 1），pooling（kernel size 3×3，padding 0，stride 2），那么怎么计算输出的图片大小呢？其实，不管是卷积还是池化，计算公式都是一样的，如下：N = (W − F + 2P ) / S + 1其中，输入数据维度为W*WFilter大小为 F×...

转载来源：优快云原文：https://blog.youkuaiyun.com/Hungryof/article/details/76649006torchvision的主要用途。两种数据集：所有图片都在同一个文件夹内。（这个用 torch.utils.data.DataSet类就行！）不同类别的图片放在不同的文件夹。（用 torchvision.datasets.ImageFolder(‘ima...

参考博文：https://blog.youkuaiyun.com/sunqiande88/article/details/80085569由于现在官网已经发布1.0.1版本的了，因此想要安装Pytorch0.4.1版本就不能用官网给的那个安装指令了~我们看一下以前的版本：1、下载点击上图的位置后，可以看到pip安装的教程：不过这是GPU版的，要想安装CPU版本的需要继续往下找：上图就是我要安...

下面介绍下例子代码。1、导入argparse模块2、创建解析器对象ArgumentParser，可以添加参数。description：描述程序parser=argparse.ArgumentParser(description="This is a example program ")add_help：默认是True，可以设置False禁用3、add_argument()方法，用来指定...

pytorch之ImageFoldertorchvision已经预先实现了常用的Dataset，包括前面使用过的CIFAR-10，以及ImageNet、COCO、MNIST、LSUN等数据集，可通过诸如torchvision.datasets.CIFAR10来调用。在这里介绍一个会经常使用到的Dataset——ImageFolder。ImageFolder假设所有的文件按文件夹保存，每个文件夹下...

转载来源：优快云原文：https://blog.youkuaiyun.com/edogawachia/article/details/80515038pytorch中的gather函数pytorch比tensorflow更加编程友好，所以准备用pytorch试着做最近要做的一些实验。 立个flag开始学习pytorch，新开一个分类整理学习pytorch中的一些踩到的泥坑。今天刚开始接触，读了一下d...

比如原来的tensor是三个维度的，值在0到1之间，经过以下变换之后就到了-1到1区间。transforms.Normalize((.5,.5,.5),(.5,.5,.5))transforms的源码中解释：input[channel] = (input[channel] - mean[channel]) / std[channel]假设你数据的范围是图片的数据范围四[0,1],那么如果...