
python
nlite827109223
这个作者很懒,什么都没留下…
展开
-
keras gpu占用
import tensorflow as tffrom keras.backend.tensorflow_backend import set_sessionconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction = 0.3set_session(tf.Session(config=config...原创 2020-01-09 21:09:11 · 436 阅读 · 0 评论 -
pytorch 模型不在类的 __init__()函数中定义,且该函数中无可学习的参数
如这种形式,反卷积方法在conv1d_transpose中定义,在训练的时候,model.parameters()会为空,在__init__()中加一部分带参数的方法即可;报的错为:raise ValueError("optimizer got an empty parameter list") ValueError: optimizer got an empty parameter l...原创 2019-12-11 19:48:38 · 1307 阅读 · 2 评论 -
记录pytorch floattensor与cuda.floattensor的类型不一致的问题
1. 一般报这个错,是因为使用gpu,但是数据类型为转换,使用data.to(device)即可,device是device = torch.device("cuda:0" if cuda_used==1 and torch.cuda.is_available() else 'cpu')2. 我这里是因为定义模型的时候,有部分模型定义在 def __init__(self)的外部,虽然使用...原创 2019-12-01 20:12:05 · 1564 阅读 · 0 评论 -
pytorch 测试时候显存溢出
cuda out of memory解决方法:http://www.cnblogs.com/Charlene-HRI/p/10234656.html我的问题时在测试时候需要保存每次的输出中间向量,忘记转为 cpu().numpy(),导致显存累积,越来越大,最终溢出...转载 2019-05-05 15:38:49 · 4363 阅读 · 0 评论 -
pytorch nll loss(多类)
1.neg_log_likelihood = F.nll_loss(Y_prob, Y, weight=weight) input, target 位置不要弄反,多类nll loss可以把实数编码转为one hot编码,此处不需要转换2. torch.LongTensor(Y), 数据类型此处两个错误自己易犯的,不容易察觉...原创 2019-03-06 14:31:01 · 1322 阅读 · 0 评论 -
pytorch 类型不匹配问题
https://blog.youkuaiyun.com/hustchenze/article/details/79154139这篇博客写的比较全,特此记录,尤其是 a1.type_as(a2)转载 2018-12-24 15:26:32 · 308 阅读 · 0 评论 -
pytorch 与tensorflow 的条件判断应用
https://fgc.stpi.narl.org.tw/activity/videoDetail/4b1141305d9cd231015d9d0992ef0030tensorflow中使用tf.cond()实现条件判断,pytorch直接使用if判断转载 2018-12-26 15:32:10 · 1454 阅读 · 0 评论 -
pytorch cpu调用gpu训练模型
参考:https://blog.youkuaiyun.com/dcrmg/article/details/79503978 model = torch.load('../model/model-new4.pkl', map_location=lambda storage, loc: storage)转载 2018-12-05 12:01:27 · 1642 阅读 · 0 评论 -
pytorch cuda.FloatTensor->FloatTensor
错误类型:RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) 定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,虽然使用了model.cuda(),但是只对model里面的参数在g...原创 2018-12-05 10:57:11 · 2951 阅读 · 0 评论 -
python 递归时使用列表的append犯的错
1. 全局变量是整体操作,但是对于子函数,无法直接使用global2. append列表里面添加列表时,注意深浅拷贝,特别是之后还对已经添加的列表进行修改参考:https://blog.youkuaiyun.com/sunshine_java_l/article/details/79123972自己测试发现:...转载 2019-05-05 16:21:46 · 1260 阅读 · 0 评论 -
pytorch 反卷积
1. condtranspose2dimport torchfrom torch import nnfrom torch.nn import initfrom torch.autograd import Variableimport torchvisiondconv = nn.ConvTranspose2d(in_channels=1, out_channels= 1, kern...转载 2019-05-30 11:35:35 · 941 阅读 · 0 评论 -
python 实现高斯核与卷积过程
1. 二维高斯核函数参考链接:https://blog.youkuaiyun.com/qq_16013649/article/details/78784791g(x, y, sigma) = exp(-(x**2+y**2)/(2*sigma**2))2. 卷积过程高斯模糊:G(xi, yi, sigma)= img*kernel3. code# 高斯核函数import num...原创 2019-05-30 15:03:27 · 13082 阅读 · 5 评论 -
记录-sift原理及代码
1.https://www.cnblogs.com/wangguchangqing/p/4853263.html2.https://blog.youkuaiyun.com/u010440456/article/details/81483145后续实现待续。。。。转载 2019-05-30 15:50:57 · 230 阅读 · 0 评论 -
python 自己实现绘制roc曲线
1. auc 的意义及计算公式https://blog.youkuaiyun.com/qq_22238533/article/details/786664362. roc的绘制代码def roc_draw(predict, ground_truth): nums = len(predict) x, y = 1, 1 index = np.argsort...转载 2019-05-27 23:06:55 · 7100 阅读 · 0 评论 -
python实现ps的饱和度调整公式
公式参考:1.https://blog.youkuaiyun.com/xingyanxiao/article/details/480355372.https://www.cnblogs.com/muyuge/p/6152396.html上述两个分别实现了matlab和c版本的,其中1. 在rgb通道上操作,对每个像素点操作,调整范围-1-1之间;2. A. delta=rgbmax-rg...转载 2019-07-08 10:57:45 · 1822 阅读 · 1 评论 -
python resize 双线性插值
# -*- coding: utf-8 -#import datetime#t1 = datetime.datetime(2017,10,10,21,40)#t2 = datetime.datetime(2017,10,8,23,40)#tt1 = datetime.timedelta(seconds = 1200)#tt2 = datetime.timedelta(weeks ...原创 2019-07-05 10:59:32 · 3488 阅读 · 0 评论 -
线上线下样本分布不一致的判断与处理方式
1. 训练,验证,测试样本划分方式,在吴恩达的课程中有介绍到https://blog.youkuaiyun.com/u013555719/article/details/78452053尤其是验证与测试,需要根据机器学习系统的目的设置,文中举了猫狗识别系统的例子,目标是识别手机端用户拍摄的猫狗图像,而训练样本有少量的手机拍摄图(因为系统才开始设计,数据少),大部分是网络中找到的猫狗图像;而...原创 2019-07-24 23:10:42 · 1633 阅读 · 0 评论 -
python 计算iou
参考:https://blog.youkuaiyun.com/sinat_34474705/article/details/80045294def caliou(im1, im2): x11, y11, x12, y12 = im1[0], im1[1], im1[2], im1[3] x21, y21, x22, y22 = im2[0], im2[1], im2[2], i...原创 2019-08-26 13:35:50 · 450 阅读 · 0 评论 -
freetype python 缺少lib文件
1. Pip install freetype-py2. https://github.com/ubawurinna/freetype-windows-binaries原创 2018-04-12 18:51:09 · 1004 阅读 · 3 评论 -
python 列表中字符串几种操作
1. [‘’,’’,’’,’’]转为[‘’]‘’.join()方法2. [[],[],[]]转为[]tmp_train = list(itertools.chain.from_iterable(tmp_train)) 3. Set集合操作,&交集,|合集,–差集原创 2017-10-05 21:23:55 · 2648 阅读 · 0 评论 -
ubuntu python代码注释问题
1.添加以下两行注释,解决中文注释问题#!user/bin/python#coding=utf-8原创 2017-06-13 09:58:52 · 1265 阅读 · 0 评论 -
百度语音REST接口使用(python)
代码:#! /usr/bin/env python3import uuidimport base64import jsonimport urllib.requestimport sysdef get_token(): apiKey = "xxxxxxx" secretKey = "xxxxxxxxxxx"转载 2017-01-04 21:50:49 · 1203 阅读 · 0 评论 -
eclipse安装python插件
online 安装老是报这个错误,改为在网站下载安装包之后再安装下载之后,解压到eclipse文件夹下,然后再打开eclipse,找到help下的Eclipse Marketplace,搜索pydev,再install一下,之后配置即可原创 2016-12-28 17:05:47 · 270 阅读 · 0 评论 -
bs4中TypeError问题
将response改为str(response),转换为字符串类型原创 2016-12-31 11:15:07 · 403 阅读 · 0 评论 -
python获取pydoc
为了获取帮助,浏览python包的文档pydoc1. windows: 命令窗口:python -mpydoc xxx(包名,模块名字)2. linux/Mac 终端: pydoc xxx(包名,模块名字)原创 2017-01-08 22:26:47 · 726 阅读 · 0 评论 -
python安装wordcloud
之前为了测试一个tensorflow的python代码,安装了64位的python,和电脑上32bit的冲突了,一开始没发现,需要安装wordcloud模块的时候才发现使用pip安装,就会报错error[2],xxx找不到只能卸载64bit,重新安装32bit重新安装之后,别的模块可以安装,但是wordcloud仍然不能安装删除cache也没用,最后下载了w原创 2017-01-16 17:05:46 · 8654 阅读 · 0 评论 -
python读取不同文件的编码问题
两个文件,一个utf-8,一个gb2312 读取gb2312时,直接读取,‘r’模式就可以,没有遇到问题,读取utf-8时,报错gbk不能对某某字符进行编码改为'rb'模式,再用decode进行解码一下,就可以正常了1.stopwords = []2.f = open("D:\\task\\Chinese-master\\stopwords.txt",'rb')3.fo原创 2017-01-17 15:14:56 · 494 阅读 · 0 评论 -
python爬虫去除网页中的script结构
链接:http://www.cnblogs.com/rookie-c/p/5754828.html通过爬网易新闻,讲述怎么获得文本转载 2017-01-18 11:28:03 · 7330 阅读 · 0 评论 -
python idle调出上一次输入
alt + p转载 2017-03-18 09:58:41 · 8932 阅读 · 0 评论 -
python中with open as结构最好不要嵌套使用
在python中使用with open as 结构,嵌套打开两个文件如 with open(fb,'r') as fb ,open(fq,'r') as fq: python require 'redcarpet' markdown = Redcarpet.new("with open(fb,'r') as fb ,open(fq,'r') as fq:") puts markdown原创 2017-03-20 17:06:57 · 5677 阅读 · 2 评论 -
python去掉标点,特殊符号
python去掉标点,特殊符号在网上找的正则表达式可以去掉左括号,没有去掉右括号,同时,不需要给问句进行编码工作,问号,中括号等标点有不同的输入法,其均不相同,需要都有 参考该连接http://blog.youkuaiyun.com/mach_learn/article/details/41744487 将其括号部分和一些标点和运算符号进行修改,更加完善,如下string = re.sub("[\s+\.原创 2017-03-15 21:16:52 · 64742 阅读 · 3 评论 -
gensim导入word2vec模型,memory error问题
model.init_sims(replace=True)原创 2017-04-11 11:10:19 · 2329 阅读 · 0 评论 -
python 用函数strptime判断字符串是否为日期格式
函数是从网上找到,如下:def is_valid_date(strdate): '''判断是否是一个有效的日期字符串''' try: if ":" in strdate: time.strptime(strdate, "%Y-%m-%d %H:%M:%S") else: time.strptime(原创 2017-04-04 14:35:42 · 22421 阅读 · 3 评论 -
pyinstaller打包问题,关于skleran
打包时参数问题:1. 问题为:no module named typedefs 程序中有sklearn的内容在参数中添加下面的命令:--hidden-import sklearn.neighbors.typedefs2. -p 可以直接引入某个python模块,这样对于一写自己编写的功能模块可以直接在打包时用这个参数导入3. jieba分词模块导原创 2017-05-11 19:23:13 · 2500 阅读 · 6 评论 -
sklearn中k折交叉验证函数使用
参考转自该链接:http://blog.youkuaiyun.com/ztchun/article/details/71169530机器学习中的k折交叉验证:1. fromsklearn.model_selectionimportKFold方法该方法选择的时候,选择k个样本做测试,其余做训练代码示例:fromsklearn.model_selection im转载 2017-05-04 22:27:39 · 8027 阅读 · 0 评论 -
pyqt5用pyinstaller打包
1.一开始打算用py2exe但是在python3.5环境下,只有对应到3.4的版本,改了site-packge下py2exe的版本号,仍然出问题,就改用pyinstaller2.pyinstaller 直接用pip install * 安装即可3.打包时,要注意命令和参数主要是 failed to execute script pyi_rth_qt5plugins和原创 2017-04-27 09:29:07 · 1475 阅读 · 0 评论 -
cmd中运行打包文件,可以查看报错信息
用pyinstaller打包pyqt文件,双击运行,cmd窗口一闪而过,无法查看报错信息,百度查找,发现可以通过拖拽方式,在cmd窗口中运行打包好的的exe文件,可以查看报错信息原创 2017-05-30 19:22:41 · 2016 阅读 · 0 评论 -
python3 调用讯飞语音听写sdk
在讯飞的论坛里有demo,比较详细,就不再赘述,主要针对python3出现的问题进行解决1.msp登陆问题,10470错误,在登陆的appid字符串前加 b2. byte str转换,decode解码就行参考该链接:http://bbs.xfyun.cn/forum.php?mod=viewthread&tid=27090&highlight=python原创 2017-06-12 23:41:01 · 17052 阅读 · 3 评论 -
python-taberror
将Tab缩进的改为空格,即可原创 2016-12-22 13:46:03 · 587 阅读 · 0 评论