
数据生成器+数据增广+常用工具
深度学习要用的数据生成器+数据增广+常用工具
Snoopy_Dream
这个作者很懒,什么都没留下…
展开
-
深度学习目标检测常用工具型代码:对训练数据的trainval.txt进行数据清洗
这个用于ODAI(航空数据目标检测)比赛当中,这个数据集像素大小从800*800-4000*4000不等,所以需要进行原始数据的裁剪,在裁剪过后有一部分数据里面什么目标都没有,要把这一部分去除,使得高效训练!#!/usr/bin/env python2# -*- coding: utf-8 -*-# -----------------------------------------------...原创 2018-04-25 22:31:09 · 1591 阅读 · 0 评论 -
深度学习目标检测常用工具型代码:对训练数据的标签文档进行分析
很多时候,我们在进行检测的前是需要对你的数据集,进行分析的。这个py文件是将训练数据的label文件,统一转换成csv格式,输出长、宽、面积、ratios(长宽比)等如果不考虑批量操作,当然你可以用excel导入date.# -*- coding: utf-8 -*-"""Created on Sat Apr 7 11:11:15 2018分析原始数据@author: ygx"""i...原创 2018-04-25 21:43:55 · 740 阅读 · 0 评论 -
深度学习目标检测常用工具型代码:对检测出来的结果单独进行softnms操作
# -*- coding: utf-8 -*-"""Created on Mon Apr 9 21:09:09 2018对每一类生成的prebbox.txt进行softnms操作1.读入文本,读入bbox@author: ygx"""import osimport numpy as npdef custombasename(fullname): return os.p...原创 2018-04-25 21:37:27 · 514 阅读 · 2 评论 -
深度学习目标检测常用工具型代码:对检测出来的结果单独进行nms操作
p.s. 这里的例子我说的都是航空影像目标,所以大家考虑的时候都要考虑成俯视图的状态。多目标检测的时候,有容易发生拥挤的类别,比如小汽车,也有不易拥挤的类别,比如篮球场。所以需要不同的nms阈值,而检测一次有时候消耗的时间太多,所以我的解决办法是,检测的时候nms=1都输出出来,然后在通过单独对检测的txt结果进行nms操作,比如所有文件nms0.3、nms0.4各种nms全都可以重新输出来,这样...原创 2018-04-25 21:06:26 · 766 阅读 · 0 评论 -
深度学习目标检测常用工具型代码:faster-rcnn测试时,检测的同时绘制检测结果
faster-rcnn的tools工具代码,模仿demo.py将所有的检测结果输出来,与此同时一边检测一边绘制于待检测的图片之上。#!/usr/bin/env python# -*- coding: utf-8 -*-# --------------------------------------------------------# Faster R-CNN# Copyright (c)...原创 2018-04-25 20:51:22 · 664 阅读 · 0 评论 -
目标检测utils常用代码系列(不断更新ing)
import numpy as npdef unique_boxes(boxes, scale=1.0): """Return indices of unique boxes.""" v = np.array([1, 1e3, 1e6, 1e9]) hashes = np.round(boxes * scale).dot(v) _, index = np.un...原创 2018-06-16 16:48:21 · 329 阅读 · 0 评论 -
菜鸟学习python编程--杂记 (不定期更新)numpy
目录1.bool类型的形参+return 的合理使用 其实当i有明确含义时,如下for col in xrange(w)3.for与np的联合使用,4. import copy5. np.clip(data,min,max),6. np.where 两种用法7. np.oneslike(x)8. s_list = np.random.choice(self...原创 2018-10-02 10:29:43 · 690 阅读 · 0 评论 -
深度学习python数据构造(二)——数据批生成器batch_generator+yield使用
当数据集的数据过大时,采用生成器generator生成数据循环调用那么,如何设置一个batchsize的批生成器以供训练深度学习模型用呢?背景介绍:下面这个例子是HWDB手写体,单张图片小,分类任务,trainset有89w+,正好涉及数据集多大,需要自己生成batch_generator提高效率。初步想法:首先第一种方法,是构造class,利用class中的__ne...原创 2018-09-30 09:57:53 · 6830 阅读 · 2 评论 -
深度学习python数据构造(一)——序列读取pickle与cPickle
pickle与cPickle;两者的关系:“cPickle – A faster pickle” import cPickle as pickle常用函数:pickle.dump(data,handle,0 or 1 or 2) 接受一个文件句柄和一个数据对象作为参数[序列化] 0:txt,1 ,2:老新二进制 ...原创 2018-09-27 11:34:04 · 1687 阅读 · 0 评论 -
目标检测训练数据增广--旋转+尺度+颜色+裁剪
原文链接:https://blog.youkuaiyun.com/wei_guo_xd/article/details/74199729常用的图像扩充方式有:水平翻转,裁剪,视角变换,jpeg压缩,尺度变换,颜色变换,旋转当用于分类数据集时,这些变换方法可以全部被使用,然而考虑到目标检测标注框的变换,我们选择如下几种方式用于目标检测数据集扩充:jpeg压缩,尺度变换,颜色变换这里,我们介绍一个图象变换包htt...转载 2018-06-17 10:14:24 · 6670 阅读 · 0 评论 -
深度学习训练数据python代码——数据增广(三)
imgaughttp://imgaug.readthedocs.io/en/latest/index.html安装 依赖numpy scipy scikit-image (pip install -U + scikit-image) six (pip install -U six) OpenCV (i.e. cv2 must be available in python)...原创 2018-09-27 22:51:04 · 3691 阅读 · 0 评论 -
深度学习训练数据python代码——数据增广(二)
python图像数据增强库 Augmentor使用比较简单,只有一些简单的操作。 imgaug实现的功能更多,可以对keypoint, bounding box同步处理,比如你现在由一些标记好的数据,只有同时对原始图片和标记信息同步处理,才能有更多的标记数据进行训练。我在segmentation和detection任务经常使用imgaug这个库。 Augmentorhttp:/...原创 2018-09-27 21:20:31 · 4869 阅读 · 0 评论 -
目标检测训练数据旋转python代码——数据增广(一)
转载请在首行附上原文链接!有帮助的话记得点ge赞.针对目标检测任务,对训练数据做旋转进而达到数据增广的python2代码,网上没找到,自己写了一份.另外附上一份,检查旋转后效果的Python代码(读取annotations中xml,画图的代码),在最下面# -*- coding:utf-8 -*-# !/usr/bin/env pythonimport osimport cv...原创 2018-06-13 22:27:51 · 5881 阅读 · 20 评论