【python】爬虫爬去已知图片url的图片

最新推荐文章于 2024-07-14 09:30:00 发布

甄同学

最新推荐文章于 2024-07-14 09:30:00 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： python函数

本文链接：https://blog.youkuaiyun.com/qq_25964837/article/details/82904929

python函数专栏收录该内容

3 篇文章

订阅专栏

本代码示例展示了如何使用Python批量从CSV文件中读取图片URL，并将其下载到预定义的文件夹结构中。代码实现了根据图片类别创建子文件夹，并为每个类别的图片分配唯一的文件名。

import urllib.request
import numpy as np
import os
from tqdm import tqdm
import urllib

boot_path = 'F:/Ubuntu16.4共享文件夹/数据集/Googleland/'
img_url_f = open('F:/Ubuntu16.4共享文件夹/数据集/train.csv','r')
img_url_list = img_url_f.readlines()


num_now_class = np.zeros(1000).astype('int16')
for j in tqdm(range(1000),desc='目录创建已经完成'):
      os.mkdir(boot_path+str(j))



for i in tqdm(img_url_list[1:],desc='图片正在下载'):
    img_url_class = i.split(',')
    try:
        img_url = img_url_class[1][1:-1]
        img_class = img_url_class[2][:-1]
        if int(img_class)<1000:
            save_path = boot_path+img_class+'/img_'+str(10000+num_now_class[int(img_class)])+'.jpg'
            num_now_class[int(img_class)] += 1
            f = urllib.request.urlopen(img_url)
            with open(save_path, "wb") as code:
                code.write(f.read())
            code.close()
    except :
        pass
    continue

img_url_f.close()