nlite827109223的博客

原创 keras gpu占用

import tensorflow as tffrom keras.backend.tensorflow_backend import set_sessionconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction = 0.3set_session(tf.Session(config=config...

原创 pytorch 模型不在类的 __init__()函数中定义，且该函数中无可学习的参数

如这种形式，反卷积方法在conv1d_transpose中定义，在训练的时候，model.parameters()会为空，在__init__()中加一部分带参数的方法即可；报的错为：raise ValueError("optimizer got an empty parameter list") ValueError: optimizer got an empty parameter l...

原创 记录pytorch floattensor与cuda.floattensor的类型不一致的问题

1. 一般报这个错，是因为使用gpu，但是数据类型为转换，使用data.to(device)即可，device是device = torch.device("cuda:0" if cuda_used==1 and torch.cuda.is_available() else 'cpu')2. 我这里是因为定义模型的时候，有部分模型定义在 def __init__(self)的外部，虽然使用...

原创 使用codeblocs时, 在main的cpp文件中调用其他cpp文件

1. add files,添加其他cpp文件与对应的头文件;2. 如a.cpp文件中为main函数, b.cpp问其他函数,b.h为对应的函数声明;3. #include "./b.h";在同一个目录中, ./可以调用成功,没有加./之前一直报错,引用的函数未定义;4. ubuntu系统下的问题,可能跟系统有关;...

原创 python 计算iou

参考：https://blog.youkuaiyun.com/sinat_34474705/article/details/80045294def caliou(im1, im2): x11, y11, x12, y12 = im1[0], im1[1], im1[2], im1[3] x21, y21, x22, y22 = im2[0], im2[1], im2[2], i...

原创 面试记录-lr回归推导

原创 线上线下样本分布不一致的判断与处理方式

1. 训练，验证，测试样本划分方式，在吴恩达的课程中有介绍到https://blog.youkuaiyun.com/u013555719/article/details/78452053尤其是验证与测试，需要根据机器学习系统的目的设置，文中举了猫狗识别系统的例子，目标是识别手机端用户拍摄的猫狗图像，而训练样本有少量的手机拍摄图（因为系统才开始设计，数据少），大部分是网络中找到的猫狗图像；而...

转载 python实现ps的饱和度调整公式

公式参考：1.https://blog.youkuaiyun.com/xingyanxiao/article/details/480355372.https://www.cnblogs.com/muyuge/p/6152396.html上述两个分别实现了matlab和c版本的，其中1. 在rgb通道上操作，对每个像素点操作，调整范围-1-1之间；2. A. delta=rgbmax-rg...

原创 python resize 双线性插值

# -*- coding: utf-8 -#import datetime#t1 = datetime.datetime(2017,10,10,21,40)#t2 = datetime.datetime(2017,10,8,23,40)#tt1 = datetime.timedelta(seconds = 1200)#tt2 = datetime.timedelta(weeks ...

转载 相对熵--kl散度的一些理解

1. 数学原理介绍https://www.jianshu.com/p/7b7c0777f74d 参考该链接，讲解很清楚，衡量两个分布信息熵的差异2. 缺陷https://blog.youkuaiyun.com/omnispace/article/details/54942668分布不重叠，距离计算不对称...

原创 相机分辨率， 图像分辨率

1. 相机的200万像素，2000万像素指的是感光器件 得到的像素个数，我们看的是照片，要看每英寸所包含的像素个数，这个反映了图像的清晰程度；2. 图像分辨率是图像密度，（ppi），单位尺寸有多少像素3. dpi是打印分辨率，每英寸点数；参考：https://blog.youkuaiyun.com/q199502092010/article/details/80255843...

转载 记录-sift原理及代码

1.https://www.cnblogs.com/wangguchangqing/p/4853263.html2.https://blog.youkuaiyun.com/u010440456/article/details/81483145后续实现待续。。。。

原创 python 实现高斯核与卷积过程

1. 二维高斯核函数参考链接：https://blog.youkuaiyun.com/qq_16013649/article/details/78784791g(x, y, sigma) = exp(-(x**2+y**2)/(2*sigma**2))2. 卷积过程高斯模糊：G(xi, yi, sigma）= img*kernel3. code# 高斯核函数import num...

转载 pytorch 反卷积

1. condtranspose2dimport torchfrom torch import nnfrom torch.nn import initfrom torch.autograd import Variableimport torchvisiondconv = nn.ConvTranspose2d(in_channels=1, out_channels= 1, kern...

转载 pytorch 实现svm （hinge loss）

1. hinge loss参考链接：https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit2. pytorch 实现https://github.com/kazuto1011/svm-pytorch3. 代码loss计算：loss = torch.mean(torch.clamp(1-fea.t()*labe...

转载 python 自己实现绘制roc曲线

1. auc 的意义及计算公式https://blog.youkuaiyun.com/qq_22238533/article/details/786664362. roc的绘制代码def roc_draw(predict, ground_truth): nums = len(predict) x, y = 1, 1 index = np.argsort...

原创 牛客网-快手-二维坐标-圆相交-思路

题目：1.两个圆相交的条件，圆心距离等于半径之和2. 计算得到关系式（y-x)^2+1=2^2=4,当不相交时，需要左边小于右边3. 由2中关系式，有或者，根据x，y直线关系画图4. 计算阴影面积...

转载 python 递归时使用列表的append犯的错

1. 全局变量是整体操作，但是对于子函数，无法直接使用global2. append列表里面添加列表时，注意深浅拷贝，特别是之后还对已经添加的列表进行修改参考：https://blog.youkuaiyun.com/sunshine_java_l/article/details/79123972自己测试发现：...

转载 pytorch 测试时候显存溢出

cuda out of memory解决方法：http://www.cnblogs.com/Charlene-HRI/p/10234656.html我的问题时在测试时候需要保存每次的输出中间向量，忘记转为 cpu().numpy(),导致显存累积，越来越大，最终溢出...

原创 pytorch nll loss（多类）

1.neg_log_likelihood = F.nll_loss(Y_prob, Y, weight=weight) input, target 位置不要弄反，多类nll loss可以把实数编码转为one hot编码，此处不需要转换2. torch.LongTensor(Y), 数据类型此处两个错误自己易犯的，不容易察觉...

原创 cpp 的一些知识点

1. string substr(i，j)，取子串，i为起始位置，j为长度2. vector <int> a;  int len_a = a.size() 

转载 pytorch 与tensorflow 的条件判断应用

https://fgc.stpi.narl.org.tw/activity/videoDetail/4b1141305d9cd231015d9d0992ef0030tensorflow中使用tf.cond()实现条件判断，pytorch直接使用if判断

转载 pytorch 类型不匹配问题

https://blog.youkuaiyun.com/hustchenze/article/details/79154139这篇博客写的比较全，特此记录，尤其是 a1.type_as(a2)

原创 gpu 显存占用 与 volatile gpu-util （gpu利用率）

1. https://github.com/tensorflow/tensorflow/issues/5432. http://caffecn.cn/?/question/1861 gpu占用高，不表示利用率高，tensorflow不设置gpu占用多少的情况下，会默认占满gpu 要是需要同时跑几个gpu程序，可以设置tensorflow的最大gpu显存占用，不要设置根据需要增加...

转载 git clone tensorflow

报错：git@github.com: Permission denied (publickey).fatal: Could not read from remote repository.Please make sure you have the correct access rightsand the repository exists. 配置SSH key，并添加到githu...

转载 pytorch cpu调用gpu训练模型

参考：https://blog.youkuaiyun.com/dcrmg/article/details/79503978 model = torch.load('../model/model-new4.pkl', map_location=lambda storage, loc: storage)

原创 pytorch cuda.FloatTensor->FloatTensor

错误类型：RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor）         定义残差块时定义在model的外面，在使用gpu进行训练的时候，残差块的参数是torch.FloatTensor类型，虽然使用了model.cuda(),但是只对model里面的参数在g...

原创 keras 导入已经下载的预训练模型

windows下 ，users目录下，找到./keras/models 放在该文件夹下即可或者搭建好相应的模型结构，比如inception v3，在使用load_weights函数load_model无法直接导入模型，可能跟配置文件有关...

原创 keras DCGAN mnist数据

1.  keras 的 mnist.load_data() 因为网页连接无法使用，数据无法下载可以从mnist网站上直接下载nist.pkl.gz文件，然后再 处理import pickleimport gzipdef load_data(): with gzip.open('mnist/mnist.pkl.gz','rb') as fp: training_data...

原创 freetype python 缺少lib文件

1.      Pip install freetype-py2.      https://github.com/ubawurinna/freetype-windows-binaries

转载 kera tensorflow只使用cpu训练

原因是在gpu下超出显存，不得已在cpu下训练模型该链接中有，点击打开链接import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "-1"要在import keras之前加上上述代码...

原创 python 列表中字符串几种操作

1.      [‘’,’’,’’,’’]转为[‘’]‘’.join()方法2.      [[],[],[]]转为[]tmp_train = list(itertools.chain.from_iterable(tmp_train)) 3.      Set集合操作，&交集，|合集，–差集

原创 vs2013添加opencv2.4.9属性表

参考链接：http://blog.youkuaiyun.com/llxlqy/article/details/75196067注意添加环境变量

原创 py-faster-rcnn配置过程（ubuntu）

1. github下载和make过程按照网上教程即可，use_cudnn= 1处容易出问题，按照网上的原因是因为系统的gpu版本，cudn版本和caffe的版本的问题，没有解决2. matlab配置好了，但一运行就崩溃（matlab  r2013）3. *.caffemodel文件没有下载到，即*.sh文件运行之后没有下载到已经训练好的模型4. 运行demo的时候因为画框的阈值

原创 Ubuntu 编译安装faster rcnn（matlab）

1. github下载完整的faster rcnn：https://github.com/ShaoqingRen/faster_rcnn2. cudn，caffe等都是安装好的，师兄装的3. 拷贝caffe的MakeFile.config文件到external/caffe下4. make  -j85. make  matcaffe 上述为基本步骤，一下为出现的问题：

原创 faster rcnn caffe安装

Win7 matlab caffe faster rcnn配置：1. 环境安装，已装好，问题是需要对caffe进行编译，使用师姐训练好的caffe-cuda82. faster-rcnn-build.m文件，修改vs路径和默认库冲突两个部分3. 添加目录包含4. 测试 第2条中链接有：http://blog.youkuaiyun.com/dzkd1768/article/detai

原创 ubuntu python代码注释问题

1.添加以下两行注释，解决中文注释问题#!user/bin/python#coding=utf-8

原创 python3 调用讯飞语音听写sdk

在讯飞的论坛里有demo，比较详细，就不再赘述，主要针对python3出现的问题进行解决1.msp登陆问题，10470错误，在登陆的appid字符串前加 b2. byte str转换，decode解码就行参考该链接：http://bbs.xfyun.cn/forum.php?mod=viewthread&tid=27090&highlight=python

原创 cmd中运行打包文件，可以查看报错信息

用pyinstaller打包pyqt文件，双击运行，cmd窗口一闪而过，无法查看报错信息，百度查找，发现可以通过拖拽方式，在cmd窗口中运行打包好的的exe文件，可以查看报错信息

原创 pyinstaller打包问题，关于skleran

打包时参数问题：1.      问题为：no module named typedefs  程序中有sklearn的内容在参数中添加下面的命令：--hidden-import sklearn.neighbors.typedefs2.    -p 可以直接引入某个python模块，这样对于一写自己编写的功能模块可以直接在打包时用这个参数导入3.      jieba分词模块导