自行准备深度学习训练数据

深夜虫鸣

于 2017-08-11 15:52:31 发布

阅读量3.9k

点赞数

分类专栏：深度学习数据相关文章标签：数据深度学习

本文链接：https://blog.youkuaiyun.com/u010122972/article/details/77099126

版权

本文详细介绍了如何自行准备深度学习的训练数据，包括数据收集、图像重命名和数据标定三个步骤。首先，通过百度图片爬虫获取所需图片；接着，使用脚本批量重命名图像文件，解决可能出现的空格问题；最后，推荐使用labelImg工具进行图像目标位置的标定，生成pascal格式的xml文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度学习的模型训练中，数据的收集十分重要，取得足够的数据集对于最终模型的表现有十分重要的意义。但是开源的数据集都指定了特定的目标进行标注，如行人，车辆。当要训练自己所需要的特定检测模型，却又没有开源数据集的时候，就需要自己去收集和标注图像数据用于训练了。

1.数据收集

目前主要通过从百度图片上爬图片来进行数据收集，爬虫脚本如下：

#-*- coding:utf-8 -*-  
import re  
import requests  
import sys,os  

type=sys.getfilesystemencoding()  


def dowmloadPic(html,keyword , i ):  
    pic_url = re.findall('"objURL":"(.*?)",',html,re.S)     
    print '找到关键词:'+keyword+'的图片，现在开始下载图片...'  
    for each in pic_url:  
        print u'正在下载第'+str(i+1)+u'张图片，图片地址:'+str(each)  
        try:  
            pic= requests.get(each, timeout=50

最低0.47元/天解锁文章