
python
JaceinSalt
这个作者很懒,什么都没留下…
展开
-
目标检测:干掉尺寸过小的分类框
防止尺寸过小的分类框影响训练,在label中(尝试过在img中抹掉但是太麻烦)干掉尺寸不理想的框。import numpyimport globimport osreadpath=r'C:\Users\deepw\Desktop\data2yolo\AnnotationFiles'savepath=r'C:\Users\deepw\Desktop\data2yolo\new'#指...原创 2018-08-07 14:32:29 · 888 阅读 · 0 评论 -
利用imgaug进行数据增强data augmentation
在数据量不够的时候需要进行data augmentation即数据增强,对数据量进行扩充。在这里使用imgaug库,此python库可以为机器学习项目扩充图像,它将一组输入图像转换为一组新的,数量更多的略微改变的图像。库的安装使用这里不再赘述,官网 https://github.com/aleju/imgaug 上的描述很详尽,简单易用。若读取的图片数据为image,image应该有四个维度...原创 2019-05-18 15:48:54 · 3256 阅读 · 10 评论 -
自制瀑布流型爬虫(思路适用很多网站)
文章目录BULLSHIT翻页网页源代码代码示例BULLSHIT之前误打误撞写过一篇《自制翻页型爬虫(思路适用很多网站)》,最近遇到瀑布流型的网站,于是继续整理一下有关瀑布流型网站的爬虫思路。举例网站:http://www.dunkhome.com/products/search翻页看一下瀑布流型的网页是如何翻页的:点击加载更多页面下方会加载更多的商品(有些网址是往下滚动的时候自动...原创 2019-05-08 18:06:41 · 2013 阅读 · 5 评论 -
自制翻页型爬虫(思路适用很多网站)
非“数据科学家”(挺烦别人自称数据科学家的,分析员就分析员,哪来这么多科学家)的我,还得负责数据这块,太难了。爬虫对我来说是玄学,用什么爬虫...原创 2019-04-23 23:11:15 · 910 阅读 · 0 评论 -
python删除重复文件
让我们来分析一下这个问题:首先,文件个数非常多,手工查找是不现实的,再说,单凭我们肉眼,在几千张图片或文件里面找到完全相同的难度也是很大的。所以要用程序实现。那么用程序怎么实现呢?根据什么判断两个文件完全相同呢?1、首先,根据文件名判断是靠不住的,因为文件名可以被随意更改,但文件内容不变。再说在同一个文件夹下面,也不可能出现两个完全相同的文件名,操作系统不允许的。2、还有一种方法就是根据文件大...转载 2019-05-02 11:52:43 · 1823 阅读 · 1 评论 -
python爬虫抓取淘宝图片
训练模型需要data,于是从网上抓取相关图片集,之后进行筛选标注。import urllib.requestimport rekeyword = '骚猪'#定义搜索关键字keyword = urllib.request.quote(keyword)#对关键字编码headers = ('User-Agent',"Mozilla/5.0 (Windows NT 10.0; WOW64) ...原创 2019-02-27 14:52:41 · 2169 阅读 · 0 评论 -
python:目标检测模型预测准确度计算(基于IoU)
训练完目标检测模型之后,需要评价其性能,在不同的阈值下的准确度是多少,有没有漏检,在这里基于IoU(Intersection over Union)来计算。 希望能提供一些思路,如果觉得有用欢迎赞我表扬我~ IoU的值可以理解为系统预测出来的框与原来图片中标记的框的重合程度。系统预测出来的框是利用目标检测模型对测试数据集进行识别得到的。计算方法即检测结果DetectionRes...原创 2018-12-11 17:43:02 · 6212 阅读 · 1 评论 -
python处理优化自己的目标检测数据集
最近跑yolo的时候得到一批Penn-Fudan的行人数据集,想着处理优化后变成自己的数据放到yolo里面,会对模型的训练质量有提高。这份数据集是开源的,需要的同学可以直接在网上搜索到。 希望能提供一些思路,如果觉得有用欢迎赞我表扬我~ 首先看看拿到的数据集是什么样子的。图片为png彩图,无固定尺寸: 标签label是txt格式,里面包含的信息如下:# C...原创 2018-12-05 17:07:06 · 1623 阅读 · 2 评论 -
Python提取转移文件夹内所有.jpg文件并查看每一帧
python里面可以将路径里面的\替换成/避免转义。os.walk方法可以将目标路径下文件的root,dirs,files提取出来。后面对每个文件进行操作。切片操作[:]判断是否为.jpg或.JPG文件。shutil的copy方法将文件从旧路径复制到新路径。glob的glob方法提取目标文件夹的所有图片,对每张图片进行显示保存等操作。详细代码及注释如下:import os...原创 2018-07-02 10:10:58 · 3337 阅读 · 0 评论 -
Python读取、矩阵操作、保存.txt文件
针对目标检测标注文件,中间矩阵操作的目的是将txt标签格式转换成yolo标签格式,请忽略。设定路径地址,在前面添加r,避免转义。glob的glob方法可以提取指定路径的所有文件路径成列表。之后针对每一个txt进行操作。利用切片操作[:]获取文件名。numpy的savetxt方法保存txt文件,fmt可以设定保存的数据类型。具体代码及详细注释如下:import numpy...原创 2018-07-28 15:08:03 · 11093 阅读 · 0 评论 -
python复制list方法
a = [1]创建索引 a 指向 list [1],a 不是列表。b = a不是复制操作,只是将 a 的索引list [1] 索引给 b,b 不是列表。修改 a 会同时修改 b,因为都指向同一个 list。 如果打印两者内存地址id(),则相同:>>> id(a)37498753>>> id(b)37498753复制操作:way1:切片...原创 2019-09-08 22:23:50 · 483 阅读 · 0 评论