使用python爬取图片(爬取百度图片为例)

本文详细介绍了如何使用Python的requests和urllib库爬取百度图片并进行保存。首先确定目标URL,然后获取所需参数和header信息。接着,利用requests发送GET请求,解析JSON数据,提取图片链接,并通过urllib将图片下载到本地。最后,通过循环遍历多页数据,实现批量下载。该教程涵盖了网络请求、JSON解析和文件保存等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

思路:

       1. 确定爬取的是哪一个url的图片,可F12来获取

     https://image.baidu.com/search/acjson 就是要爬取图片的url基地址

        2.获取需要传递的参数以及header信息复制出来待会会用到

3.对  urllib  的使用:urllib 通常用于网络资源的解析,比如把一个图片链接地址解析成一个图片

urllib.request.urlretrieve(url, "D:/a/壁纸/" + str(n) + '.jpg')

第一个参数是在线图片的地址,第二个是保存的地址,第三个是保存后的图片名字

4.对requests的使用

page_info = requests.get(url=url, headers=header, params=param)
page_info.encoding = 'utf-8'
page_info = page_info.json()
info_list = page_info['data']

话不多说直接开干 

import time
import requests
import urllib

page = input("请输入要爬取多少页:")
page = int(page) + 1   #确保其至少是一页,因为 输入值可以是 0 
header = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
n = 0  # 图片的前缀 如 0.png
pn = 1  # pn是从第几张图片获取 百度图片下滑时默认一次性显示30张
for m in range(1, page):
    url = 'https://image.baidu.com/search/acjson?'
    param = {
        'tn': 'resultjson_com',
        'logid': '8846269338939606587',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': '水果',
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '-1',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        'word': '水果',
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '0',
        'istype': '2',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'girl',
        'pn': pn,
        'rn': '30',
        'gsm': '1e',
    }
    page_info= requests.get(url=url, headers=header, params=param)
    page_info.encoding = 'utf-8'  #确保解析的格式是utf-8的
    page_info= page_info.json()  #转化为json格式在后面可以遍历字典获取其值
    info_list = page_info['data'] #观察发现data中存在 需要用到的url地址
    del info_list[-1]  #每一页的图片30张,下标是从 0 开始 29结束 ,那么请求的数据要删除第30个即 29为下标结束点
    img_path_list = []
    for i in info_list:
        img_path_list.append(i['thumbURL'])
        for index in range(len(img_path_list)):
                print(img_path_list[index])   #所有的图片的访问地址
                time.sleep(1)
                urllib.request.urlretrieve(img_path_list[index], "D:/a/壁纸/" + str(n) + '.jpg')
        n = n + 1

    pn += 29

总结:

        对于爬取图片,需要明白的是灵活的获取到爬取图片的地址以及参数和分析数据结构 

        

        

Python爬取百度图库(或其他网站的图片)通常需要使用到一些库,比如requests、BeautifulSoup(用于解析HTML)和os(保存文件)。以下是基本步骤: 1. **导入所需库**: ```python import requests from bs4 import BeautifulSoup import os ``` 2. **发送GET请求获取网页内容**: ```python url = "https://image.baidu.com" # 百度图片搜索URL headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) ``` 3. **解析HTML**: ```python soup = BeautifulSoup(response.text, 'html.parser') image_links = soup.find_all('img', src=True) # 查找所有src属性的img元素 ``` 4. **检查权限并获取图片链接**: 需要注意的是百度图库的图片可能是有版权保护的,直接下载可能会存在问题。如果你有明确的使用许可,可以跳过这一步。通常需要处理防盗链问题,这里仅示如何简单获取外链: ```python real_links = [link['src'] for link in image_links if 'http' in link['src']] ``` 5. **下载图片**: ```python if not real_links: print("No valid images found.") else: for i, img_link in enumerate(real_links): response = requests.get(img_link, stream=True) filename = f'image_{i}.jpg' # 或者从原URL提取信息作为文件名 with open(filename, 'wb') as f: for chunk in response.iter_content(1024): f.write(chunk) print(f"Downloaded {filename}") ``` 6. **保存图片**: 图片保存到本地目录,如当前工作目录: ```python save_dir = "." if not os.path.exists(save_dir): os.makedirs(save_dir) ``` 7. **结束爬虫**: ```python # 结束循环 ``` 注意:在实际操作时,遵守网站的robots.txt规则和法律法规,尊重版权,不要频繁或过度访问服务器,以免造成压力甚至被封IP。
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奔跑在路上的追梦少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值