ai_faker的博客

在百度图识图爬取自己想要的数据集如果你复制了此代码，能不能给我点个赞！本代码非原创，网上搜集了一些资料，经过本人调整后能跑通！1. 问题描述最近在做一个关于垃圾的目标检测问题，在部署训练时需要大量的各种各样的垃圾数据集，那么我想到了网上搜索+拍照+爬虫的方式来获取数据集，而在我的上一篇博客 目标检测-用爬虫爬取百度图库获得自己想要的图片数据集-python代码，给出了利用百度图库关键字爬取图片的方法。但是经过测试，爬到的数据很多是不能用的，图像千奇百怪，每100张大概只有20张左右是有效的。于是想到

在百度图片中爬取自己想要的数据集如果你复制了此代码，能不能给我点个赞！1.问题描述最近在做一个垃圾分类的项目，需要大量的数据集，自己拍又太麻烦，于是想到了利用百度图片来根据关键字查找生产自己要想的图片数据集2.代码两个代码功能一样的，2的话爬的速度更快，但是会导致部分图片无法正常打开基本的注释我都有在代码中补充2.1爬虫代码1import requestsimport osdef getManyPages(keyword, pages): params = [] fo

1.准备工作IDE:vscode或者pycharm1.1新建项目我新建了data目录并新建Annotations, images, ImageSets, JPEGImages, labels 五个文件夹。其中images和JPEGImages存放的是原始的图片数据集，Annotations存放的是标记后生成的xml文件，labels存放的是保存标记内容的txt文件，ImageSets存放的是训练数据集和测试数据集的分类情况。其中Annotations 文件夹 放我们想要转换的xml数据集。如下图

1.labelimage下载1.1 ubuntu下labelimage下载github官方下载地址:地址直接点击Code，下载文件为.zip格式。下载完成后#cd到下载目录cd Downloads/#执行解压命令#如果是.zip.gz文件执行 tar-xvzf 文件名 即可unzip ×下载的文件名.zip#即可看到文件夹或者直接git clone https://github.com/tzutalin/labelImg即可完成下载，如下图所示1.2 labelimage的

利用YOLOV5训练自己的数据执行以下命令做好准备工作git clone https://github.com/ultralytics/yolov5 # 下载 yolov5 项目python3 -c "from yolov5.utils.google_utils import gdrive_download; gdrive_download('1n_oKgR81BJtqk75b00eAjdv03qVCQn2f','coco128.zip')" # 下载官方例子的数据集cd yolov5 #进入yol

1.COCO数据集COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。这个数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。图像包括91类目标，328,000影像和2,500,000个label。目前为止有语义分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个。这就是YOLOV3采用的数据集。该数据集主要解决3个问题：目标检测，目

1.1Pascal VOCVOC数据集是目标检测经常用的一个数据集，从05年到12年都会举办比赛（比赛有task： Classification 、Detection（将图片中所有的目标用bounding box框出来） 、 Segmentation（将图片中所有的目标分割出来）、Person Layout）。1.1.1VOC数据集种类一共包含了20类personbird, cat, cow, dog, horse, sheepaeroplane, bicycle, boat, bus, car