
python
文章平均质量分 68
loovelj
这个作者很懒,什么都没留下…
展开
-
cv2_polylines_Expected Ptr<cv::UMat> for argument ‘img
我原来以为是img变换出了问题,发现不画多边形,图像就能存储。发现,这个多边形不能在原图上画,只能在拷贝图像上画。今天画多边形,发现总是报下面这个错,原创 2022-08-17 10:54:55 · 554 阅读 · 0 评论 -
Matplotlib中文显示
最近想用matplotlib显示中文,搜了一大堆,发现还没搞懂,最后参考知乎上 彻底解决Python里matplotlib不显示中文的问题的解决方式,终于解决了。第一步先看自己有没有中文字体包,就是那个ttf# 查询当前系统所有字体from matplotlib.font_manager import FontManagerimport subprocessmpl_fonts = set(f.name for f in FontManager().ttflist)print('all fo原创 2021-04-23 17:53:02 · 274 阅读 · 1 评论 -
旋转图片及标注lable的实现
旋转图片相关内容背景旋转理论OpenCV操作背景1、做带角度的图像数据增强,一般使用rotate函数就可以,不过有时图片部分角就会旋转出去,如果不丢失信息,且补边呢?2、如果标注的label是一个矩形,如果旋转后,想让label也跟着旋转,怎么计算旋转理论旋转图片一般用到了仿射变换,仿射变换的原理可以从几何理解,也可以从极坐标方式理解,具体计算方式就是矩阵相乘OpenCV操作OpenCV的方法是cv2.getRotationMatrix2D()方法matRotate2 = cv2.getR原创 2020-12-26 18:57:07 · 2161 阅读 · 0 评论 -
Pymysql中插入json内容 dict‘ object has no attribute ‘translate‘
最近在使用pymysql插入数据时,会出现以下报错You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near \'det": 和 dict' object has no attribute 'translate'最后发现是单双引号造成的问题,所以我们应该使用以下方法:aa = pymysql原创 2020-10-23 18:03:07 · 1302 阅读 · 0 评论 -
Pyinstaller解包
最近由于忘了源代码放哪里了,只能从Pyinstaller打包好的exe文件中找了,参考了一下教程,发现挺简单。1、把exe转为pyc文件1、首先在GitHub上下载pyinstxtractor,然后基于pyinstxtractor.py这个文件执行语句python pyinstxtractor.py test.exe# 输出[+] Processing dist\test.exe[+] Pyinstaller version: 2.1+[+] Python version: 36[+] L原创 2020-07-15 16:31:04 · 6681 阅读 · 0 评论 -
tensorflow2 中szie 和shape的区别
最近在根据pytorch的SSD代码改写为tensorflow2的。其中,pytorch中求tensor的矩阵大小,直接用size就可以了。例如:#简洁明了>>> torch.empty(3, 4, 5).size()torch.Size([3, 4, 5])但是到TensorFlow2中,是不能这样了。TensorFlow2中应该使用shapeReturns the shape of a tensor.tf.shape(input, out_type=tf.dtypes原创 2020-06-15 17:03:58 · 390 阅读 · 0 评论 -
关于SSD中Conv4_3的L2 Norm处理
最近研究SSD代码时,发现在Conv4_3特征层后,进行了L2 Norm 的处理,最后研究了一下。首先介绍一下L2 Norm,其实很简单,就是把所有值平方后加起来,求根以后当分母,然后每个数当分子,进行求解, L2 Regularization and Batch Norm 详细介绍了他的不同但是简而言之,L2 Norm 是在channel上进行求平均, 而batch_norm 是对=[batch,higth,width]进行求平均至于为什么要用L2Normal,原作者说conv4_3和其他特种层原创 2020-06-04 20:11:24 · 1916 阅读 · 0 评论 -
使用OpenCV缩小图像同时返回矩阵和byte图像
最近项目需要,缩小图像后同时需要矩阵和byte图像,这里记录一下转换代码def resize_img_1280p(file_path): img_mat = cv2.imread(file_path) h,w = img.shape[:2] new_h = max(h,w) fx = 1280/new_h #按比例缩小图像 resize_img = cv2.resize(img,(0, 0), fx = fx, fy = fx, interpolation原创 2020-06-02 16:59:39 · 274 阅读 · 0 评论 -
TypeError default_name type type list is not a string type
最近使用Tensorflow 1.15版本跑老版本的代码时,报错如下:TypeError: `default_name` type (<type 'list'>) is not a string type.经过查找,git issues解决方案是:Using the TensorFlow documentation for tf.name_scope, I resolved the issue by prepending [x] with values=. That is chang原创 2020-06-02 10:50:16 · 508 阅读 · 2 评论 -
Jenkins部署grpc服务并重启
背景目前我在使用jenkins做自动化测试工作,目前有个grpc服务,需要配置不同的参数后,启动服务再测试不同结果。用shell方式配置在自动化脚本当中,遇到了几个问题,在这里总结一下启动python 的virtualenv环境平常启动virtualenv中的python环境,我们都是用如下语句执行:source ./pipeline_env/bin/activate #无法在sh脚本中执行取而代之的是使用点代替source:. ./pipeline_env/bin/activate #可原创 2020-05-25 23:45:06 · 469 阅读 · 0 评论 -
远程连接阿里云服务器Conda的虚拟ENV环境
最近连接阿里云服务器的时候,想使用里面订制的ENV环境,但是由于启动时自动用系统自己的ENV,经过查找方法,参考这篇jupyter notebook选择conda环境1、主要的就是启动conda环境source activate env1 #env1是需要的的env2、然后把ipykernel注册进去python -m ipykernel install --user --name en...原创 2020-01-17 17:00:05 · 687 阅读 · 0 评论 -
COCO数据集合解析
最近在使用COCO数据集做框检测,对其内容进行记录。1、首先是下载COCOMS COCO 数据集主页:http://mscoco.org/,进去以后点击DownLoad下载,2017要下载这些,总过有20多G2、安装pycocotools这个是解析COCO代码的工具包,具体安装方式为apt-get install cython #先得在系统安装cython pip install c...原创 2019-12-20 10:31:26 · 498 阅读 · 0 评论 -
Pycharm undefined symbol: AttachDebuggerTracing
Pycharm Debug模式下出错最近PyCharm升级到2019.3版本,然后远程连接服务器,进行Debug的时候,发现会报错.pycharm_helpers/pydev/pydevd_attach_to_process/attach_linux_amd64.so: undefined symbol: AttachDebuggerTracing查了一圈,发现有人也遇到这个问题,具体见...原创 2019-12-11 15:48:03 · 2970 阅读 · 6 评论 -
tumx中启用anaconda失效的解决办法
最近在用Anaconda创建虚拟环境,然后启用后开始使用,由于全局随时都可以启动,比virtualenv好用。但是,在Tmux中,虽然执行了codna activate myenv 然后也可以看到bash中myenv启动了,如下:(myenv) root@:[/usr/]:但其实还是使用的默认环境,因为myenv 我用的python3.7,但是执行是发现版本还是3.6最后在githu...原创 2019-12-05 19:57:16 · 833 阅读 · 0 评论 -
cuda9升级cuda10方法记录 ubuntu1604
由于最近的tensorflow2.0和pytorch都纷纷需要cuda10的支持,即使是使用conda安装,也要跟新driver 到410以上,以前的384版本的driver也不行了。索性就一起升级了,其中遇到很多坑,记录一下,希望能帮助大家,不过安装有风险,安装需谨慎!推荐一个网站,所有驱动都可以在这里下 Ubuntu 环境,这位博主真是功德无量啊1、下载安装文件(1)下载驱动在Nvi...原创 2019-11-18 17:28:28 · 9448 阅读 · 1 评论 -
pyinstaller 打包应用
最近有个脚本,为避免多次重跑,然后就准备制作成一个exe,方便其他人员执行制作步骤:1、安装pyinstaller,用最简单的pip 即可pip install pyinstaller2、执行文件,如果需要输入参数的话,就用python 的input函数,到时候运行时会自动弹出弹窗#假如这个文件为test.pyimport numpy as npimport cv2from p...原创 2019-11-06 10:36:53 · 425 阅读 · 3 评论 -
numpy 数组降维
今天看east代码的时候,发现一个很巧的降维方式:score_map <class 'tuple'>: (1, 168, 88, 1) geo_map <class 'tuple'>: (1, 168, 88, 5)score_map = score_map[0, :, :, 0]geo_map = geo_map[0, :, :, ]score_map....原创 2019-11-05 11:40:12 · 2564 阅读 · 2 评论 -
win10安装shapely报错,找不到geos_c.dll
今天安装shapely,使用最常用的pip install shapely,最后报错,说找不到 geos_c.dll最后在github上找到答案,就是在https://www.lfd.uci.edu/~gohlke/pythonlibs/#shapely这里下载对应版本的whl文件,里面包含了geos_c.dll然后再执行pip install shapely就可以了...原创 2019-10-29 11:28:51 · 7013 阅读 · 11 评论 -
Docker打包Django与Uwsgi镜像自动退出
今天在制作Django+Uwsgi的镜像,里面有tensorflow基于GPU的服务,主要分为以下步骤:1、安装Docker,参见Docker官方文档2、安装nvidia-docker ,参见 GitHub_nvidia-docker3、拉取tensorflow-gpu的docker4、把项目放进docker,并执行uwsgi今天遇到了2个问题,一个是使用pip自动安装requireme...原创 2019-06-12 20:16:34 · 1230 阅读 · 11 评论 -
Docker Tensorflow-Serving Predictions too large
最近在使用TensorFlow Serving的时候,如果图片较大,会出现如下的报错“grpc_message”:“Received message larger than max (14830491 vs. 4194304)”经过查询,是因为grpc 默认只能传输4M的文件,而我们超过的这个阈值,所以要设置这个阈值MAX_MESSAGE_LENGTH = 429496729 #传输最大...原创 2019-05-23 15:21:06 · 316 阅读 · 0 评论 -
xfce4登录ubuntu1604后,vscode无法启动
今天使用xfce4与vncserver的方法直连了阿里云的服务器,使用桌面方式操作服务器但是到后面,安装vscode时,发现无法启动,最后找到方法:参考了使用XRDP登入Ubuntu時,無法使用VS CODE,通过添加这句话就好了,最后,GitHub也给了解释sudo sed -i 's/BIG-REQUESTS/_IG-REQUESTS/' /usr/lib/x86_64-linux-g...原创 2019-05-27 16:47:42 · 2578 阅读 · 2 评论 -
问题解决zipimport.ZipImportError: can‘t decompress data; zlib not availabl
2018-10-22 14:51:34前面写过一篇简单方法安装pip的文章:https://www.pythontab.com/html/2015/pythonhexinbiancheng_1012/963.html但是在某些环境下执行安装的时候会报错,导致安装不成功, 今天就说一下我遇到的一个问题。报错[www@pythontab.com ~]$ https://bootstrap.py...原创 2019-09-03 10:11:24 · 19844 阅读 · 4 评论 -
cv2.minAreaRect 旋转图像转正
目前在做的检测过程中,有很多的矩形,需要旋转水平以后再截取出矩形区域,如下图所示。看了很多方法,都是通过仿射变换方式,转正后截取def crop_rect(img, rect): # get the parameter of the small rectangle center, size, angle = rect[0], rect[1], rect[2] cent...原创 2019-05-10 17:27:40 · 9695 阅读 · 0 评论 -
Docker网桥影响不同网段ping通的问题
最近再用Docker部署TensorFlow Serving 服务的时候,发现部署好以后,其他服务器无法调用,主要是因为Ping不通,查看ifconfig,发现了Docker会初始化一个docker0的网桥docker0和真是的eth0网段不同,我如果现在找一台内网IP为172.16.0.13的服务器可以ping通,但是用172.17.0.13 的服务器就无法ping通了。在参考了这篇文章...原创 2019-05-07 11:59:57 · 2106 阅读 · 0 评论 -
invalid argument "type=bind,source=/tmp/tfserving/serving/tensorflow_serving
今天在测试Tensorflow Serving Docker 的代码,前面一直是报错,说找不到libcuda.so, libcuda reported version is: Not found: was unable to find libcuda.so DSO loaded into this program查询了很多解决方案,发现需要dockerfile 立执行 参考链接run ...原创 2019-04-29 12:11:27 · 1512 阅读 · 0 评论 -
ubuntu python3.5升级python3.6
最近想试试python3.6的fprint 方法,就准备升级python3.6但是我用apt-get install 的方法没有成功,就准备自己编译但是有2个地方需要注意:1、安装zili# 安装依赖zlib、zlib-devel# 在ubuntu里,zlib叫zlib1g,相应的zlib-devel叫zlib1g-dev$ sudo apt-get install zlib1g$ ...原创 2019-05-19 10:27:20 · 761 阅读 · 0 评论 -
django logging同时输出到log和console
今天系统了解了Django的Logging模块,很好很强大,不过中间遇到了一点问题,记录一下1、logging 同时输出到log和console#logging注册一定要放在其他log函数前面,做到全局统一,以后其他py文件也可以直接import logging,然后正常打日志,都会和这个格式一样logging.basicConfig(filename=(os.path.join(setti...原创 2019-06-13 20:13:34 · 3138 阅读 · 1 评论 -
Django 通过将图片转为Base64,然后使用json传输
Django 通过将图片转为Base64,然后使用json传输最近使用Django来进行图像的传输,由于要求需要使用Json格式进行请求,所以我们尝试了二进制编码放在json里,发现bytes格式不能打入json,于是转为了base64将图片转为json图片转为json有2中方法,一个是二进制后再转,一个是转为矩阵以后再转。import base64import cv2#通过open...原创 2019-06-19 15:33:09 · 6477 阅读 · 7 评论 -
Tensorboard使用总结
TensorBoard简介TensorBoard是tensorlflow界面可视化的工具,由于可以将需要的观察的参数无缝衔接在TensorFlow的网络中,因此有着很便利的使用方式。具体可参考官方文档TensorBoard一般有两个展示形式,包括折线图和直方图,同时也提供图片展示和视频展示。def variable_summaries(var): """Attach a l...原创 2018-07-20 09:49:36 · 643 阅读 · 0 评论 -
Using a `tf.Tensor` as a Python `bool` is not allowed
今天在处理数据时,有个小问题,就是import tensorflow as tfa = tf.constant([1,2,3])b = tf.equal(a, 0)with tf.Session() as ss: print(ss.run(a,b)) #报错 Using a `tf.Tensor` as a Python `bool` is not allowed 但...原创 2019-09-03 17:10:39 · 17884 阅读 · 5 评论 -
tfreocrd_CRNN_使用
# -*- coding: utf-8 -*-import tensorflow as tfimport cv2def _parse_function(serialized_example): features = tf.parse_single_example(serialized_example, ...原创 2019-09-04 09:46:11 · 347 阅读 · 0 评论 -
多个txt内容合并并统计字频
当有很多txt,需要合并内容后,统计字频1、合并txtfind ./ -name '*.txt' -exec cat {} \; >all_2.txt;2、统计字频import collectionswith open('/data/crnn/wangxiang/all.txt','r',encoding='utf-8') as f: result=f.readlines...原创 2019-09-02 17:04:38 · 257 阅读 · 0 评论 -
Adam_1 not found in checkpoint
今天训练网上的代码,目前想基于他们训练好的代码,restore ckpt文件的参数以后,再接着训练。但是加载完数据以后,报错为Adam_1 not found in checkpoint经过查找,应该是他们训练好的模型,没有存这些参数,经过查找方法,在GitHub上找到了答案,具体就是在checkpoint里找到所有的参数,和model文件里面的匹配,匹配上就用,匹配不上就算了。def ...原创 2019-07-05 16:23:22 · 1771 阅读 · 2 评论 -
使用OpenCV的findContours获取轮廓并切割(python)
1 获取轮廓OpenCV2获取轮廓主要是用cv2.findContoursimport numpy as npimport cv2im = cv2.imread('test.jpg')imgray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)ret,thresh = cv2.threshold(imgray,127,255,0)image, contours,原创 2017-12-07 11:54:37 · 47009 阅读 · 12 评论 -
docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock
最近安装了Docker ,在使用最简单的"docker run hello-world",则出现问题,报错docker: Cannot connect to the Docker daemon atunix:///var/run/docker.sock查询了网上,都主要说Docker没起来,输入sudo service docker start#不过我这里还是报错,out:docke...原创 2019-06-11 11:28:23 · 62656 阅读 · 8 评论 -
Django RequestDataTooBig Request body exceeded settings.DATA_UPLOAD_MAX_MEMORY_SIZE
今天使用base64上传图片的时候,发现图片一大,就会报错RequestDataTooBig Request body exceeded settings.DATA_UPLOAD_MAX_MEMORY_SIZE经过github查询,发现是Django原来设置的上传大小为2.5M,所以可以设置大一些在django的settings.py文件中,加一行就可以了DATA_UPLOAD_MAX_...原创 2019-06-19 19:59:41 · 6603 阅读 · 2 评论 -
OutOfRangeError (see above for traceback): Read less bytes than requested
最近在使用PSENet,目前我是部署在GPU服务器上,然后用Pycharm远程连接调试。刚开始还是好的,后面可能因为在传输ckpt文件的时候,我中断过,每次用pycharm自动同步的时候,会使ckpt文件残缺,从而造成这种原因,解决方案就是在同步的时候,排除model文件的同步。...原创 2019-04-28 17:41:09 · 647 阅读 · 0 评论 -
TensorFlow 持久化
今天开始研究持久化存储,对于一个模型,我们为了方便,不用把模型的源代码都拿过来,可以只要一个记录图和里面参数的文件就好。迁移学习就是这么做的,我们最后只是把输出个数修改一下就完成了保存首先是存储,就是搭好框架以后存进来import tensorflow as tffrom tensorflow.python.framework import graph_util#定义变量...原创 2018-04-19 14:24:26 · 249 阅读 · 0 评论 -
fliunx shell script 激活python环境以及拷贝文件等
对于批量执行liunx的shell脚本,可以批量写好后,执行sh文件,总结以下几点1、在shell中,尽量加上 "#!/bin/bash "2、在激活python的virtualenv时,要使用 . /root/py3env/bin/activate,使用点替换 source...原创 2019-04-26 17:47:58 · 179 阅读 · 0 评论 -
ImportError: No module named _mask
在tensorflow的object_detection的训练中 import pycocotools._mask as _maskImportError: No module named _mask如果遇到上面的报错,就是系统安装包缺失再执行一次sudo apt-get install protobuf-compiler python-pil python-lxml python...原创 2018-12-12 19:54:35 · 3372 阅读 · 4 评论