【python3】爬取百度图片单页面图片示例

最新推荐文章于 2025-07-24 09:56:37 发布
原创 最新推荐文章于 2025-07-24 09:56:37 发布 · 950 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #百度图片

本文介绍了一种使用Python爬取百度图片的方法。通过发送GET请求获取图片链接，并利用正则表达式解析图片源地址，最后批量下载图片至指定目录。文章详细展示了从请求构造到图片下载的全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

代码

import requests
import re
import os

# 百度搜索url 和 文件保存地址
baiduurl = r'https://image.baidu.com/search/fileindex?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs1&word=%E5%B0%8F%E7%8C%AA%E8%93%9D%E8%80%B3%E7%97%85%E7%9A%84%E7%97%87%E7%8A%B6%E5%9B%BE%E7%89%87&oriquery=%E8%93%9D%E8%80%B3%E7%97%85%20%E7%94%9F%E7%8C%AA&ofr=%E8%93%9D%E8%80%B3%E7%97%85%20%E7%94%9F%E7%8C%AA&sensitive=0'
dirpath = r'C:\Users\teavamc\Desktop\pigpick'

# 标准的get请求，把请求到的html页面转text
html = requests.get(baiduurl).text

# 找到图片原文地址
# 百度图片有四种地址 thumbURL;middleURL;hoverURL;objURL
# 前三种有反爬虫 第四种是原网址
picsourceurl = re.findall(r'"objURL":"(.*?)"', html)

# Python3 OS包 如果没有dirpath路径，则mkdir新建一个
if not os.path.isdir(dirpath):
    os.mkdir(dirpath)

# 用于文件排序
fileindex = 1

for baiduurl in picsourceurl:
    print("Downloading:", baiduurl)

    # 异常控制 捕获异常对象
    # status_code 指HTTP Status Code
    # 常见如下：
    # HTTP: Status 200 – 服务器成功返回网页
    # HTTP: Status 404 – 请求的网页不存在
    # HTTP: Status 503 – 服务不可用
    try:
        res = requests.get(baiduurl)
        if str(res.status_code)[0] == "4":
            print("未下载成功：", baiduurl)
            continue
    except Exception as e:
        print("未下载成功：", baiduurl)

    # 文件名字命名规则
    # Python3 中 os.path.join()方法是将多个路径组合后返回
    filename = os.path.join(dirpath, str(fileindex) + ".jpg")

    # Python3的with...as...方法
    # 将res内容转存filename，实现对接
    # 序号自增
    with open(filename, 'wb') as f:
        f.write(res.content)
        fileindex += 1

print("下载结束，一共 %s 张图片" % fileindex)

运行结果

这里写图片描述

效果

这里写图片描述

python3爬取音乐（python经典编程案例）
数据知道的博客
07-12 3万+
使用 Python 爬取音乐涉及多个步骤，包括发送 HTTP 请求、解析网页内容、下载音频文件等。以下是详细的指南，涵盖从基础到高级的各个方面。
【python3】爬取百度图片，多线程爬取，自动局部刷新与翻页
teavamc的博客
05-11 2510
源代码，注释这么清楚不会看不懂吧，看不懂留言 import urllib # 爬虫必备 import requests # 爬虫必备 import os # 系统 import re # 系统 import sys # 系统 import time # 系统 import threading # 线程 from datetime import datetime as dt # 本机时间 f...
Python3爬虫抓取百度图片中的图片
08-07
Python3爬虫抓取百度图片中的图片，可根据需求输入关键字、图片数量
python爬取百度图片
wqjhky的博客
07-22 911
python爬取百度搜索的图片 URL可自行替换
用Python爬取百度图片：手把手教你写一个图片爬虫
最新发布
前端好玩的小案例、游戏、工具
07-24 1万+
最近想收集一些特定主题的图片素材，手动一张张下载实在太费时间了。作为一个懒人程序员，我决定写个爬虫来自动完成这个任务。今天就跟大家分享这个实用的百度图片爬虫，它能自动搜索并下载你想要的任何图片。这个爬虫虽然只有100多行代码，但包含了请求处理、JSON解析、文件操作等实用技巧。我会详细解释每个部分的实现思路，让你不仅能使用这个爬虫，还能真正理解它的工作原理。
python3 爬取百度图片
hust平凡之路 的博客
03-03 1万+
深度学习中，从网上下载大量的图片数据，肯定是必须的。作为python爬虫小白，记录一下此过程。一、分析网页结构1、在百度图片中输入狗，得到如下所示的网址http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E7%8B%97&pn=0&gsm=78&ct=&ic=0&lm...
Python3爬取图片
ithouse的专栏
12-23 2092
#coding=utf-8 import urllib.request import redef getHtml(url): page = urllib.request.urlopen(url) html = page.read() return htmldef getImg(html): html = html.decode('utf-8') reg = r
python3 爬取图片
qq_35958094的博客
11-06 363
#coding=utf8 from urllib import request import re import urllib,os     url='http://tieba.baidu.com/p/3840085725'   def get_image(url):     #获取页面源码     page = urllib.request.urlopen(url)     html = pa...
python多线程爬取图片（自动记录爬取页数，防止断网断电）
03-23
本教程将详细讲解如何使用Python的多线程来爬取图片，并实现自动记录爬取页数，以防止因网络问题或意外中断导致的重复工作。 首先，我们需要导入必要的库。`requests`库用于发送HTTP请求，获取网页内容；`lxml`库则...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
12-23
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下： 爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单...
python 爬虫爬取百度图片
u010050735的博客
10-04 2535
本人初学python爬虫，想试着爬取百度图片搜索上的图片。但简单的只是设置一下爬取的网页，然后用正则取筛选图片的链接，在京东或者当当的网页上可以，在百度上不好使。具体的代码如下：import re import urllib.request def craw(url,page): html=urllib.request.urlopen(url).read() html=str(ht
使用python爬取百度图片
dengfan666的博客
08-16 1365
最近一直痴迷于用python爬取《权利的游戏》里面的琼恩雪诺的图片，简直帅爆了啊...... 看了好几个代码和视频，却总是没能成功，一个麦子学院12分钟的视频我硬是看了二十几个小时，吐血..... 倒是把MOOC上的图片爬来了五十几张 ，晕..... 总结一下爬取图片要用到的模块和其他知识： 要用到的python模块：requests模块（http://www.cnblogs.com/ta
Python爬取百度图片
Lystro的博客
06-03 671
Python爬取百度图片 import urllib.request import urllib.parse import re import os #添加header，referer是必须的User-Agent用来伪装浏览器 header=\ { ​ 'User-Agert':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537
python 爬取百度图片
小白的博客
05-28 253
import requests import os #获取 def getPages(kw,num): params = [] for j in range(0,3): params.append({ 'tn':'resultjson_com', 'ipn':'r', 'ct':'201326592', 'cl':'2',
用Python爬取百度图片
weixin_47873308的博客
11-13 379
import re import requests from urllib import error import os num = 0 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"} def dowmloadPicture(html, keyword): #用
python批量爬取图片
06-28
<think>我们正在讨论Python批量爬取图片的问题。根据用户需求，我们需要实现一个能够从百度图片批量下载图片的爬虫程序。注意：爬虫行为应当遵守网站的使用条款，尊重版权，避免对目标网站造成过大压力。步骤：1.分析百度图片的搜索接口2.构造请求URL3.发送请求并解析响应（注意：百度图片的搜索结果页是动态加载的，我们可以通过分析翻页参数来获取图片数据）4.提取图片URL5.下载图片并保存到本地根据引用[3]中提供的URL格式，我们可以构造如下：url= &#39;https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%s&pn=%d&#39; %(keyword, page_index*20)其中，keyword是搜索关键词，pn参数表示从第几张图片开始（每页大约20张图片，所以翻页时pn每次增加20）。但是，百度图片的页面是动态加载的，返回的是HTML页面，其中包含图片信息的JSON数据。我们可以通过正则表达式提取JSON数据，然后解析图片URL。另一种方法是分析百度图片的Ajax请求，但百度图片的接口可能会变化。这里我们采用解析HTML中嵌入的JSON数据的方式。具体步骤：1.发送请求，获取网页内容。2.在网页内容中，我们可以找到包含图片信息的JSON字符串（通常在一个名为`data`的变量中），使用正则表达式提取。3.解析JSON，获取图片的URL（注意：百度图片的JSON结构较复杂，图片URL可能位于多个字段中，我们需要找到高清大图的URL）。4.下载图片。但是，百度图片为了防止爬虫，可能会对反爬措施，因此我们需要设置请求头（User-Agent等）。另外，注意引用[1]和[2]中提到的教程，我们可以参考其中的方法。考虑到百度图片的页面结构可能变化，我们这里提供一种常用的方法：通过观察，百度图片的搜索结果页中，图片信息被包含在`<script>`标签中，格式类似于：window.jsonData =...;我们可以通过正则表达式提取这个JSON字符串。但是，实际上百度图片的页面中，图片数据是在一个名为`data`的数组中，我们可以尝试搜索`"thumbURL":"http://...`这样的字符串。然而，更可靠的方法是使用正则表达式匹配整个JSON数组。但这里为了简单，我们直接使用正则匹配图片的原始URL（thumbURL字段）。注意：百度图片返回的图片URL有多个字段，我们通常使用`thumbURL`（缩略图）或者`hoverURL`（鼠标悬停时显示的图片，可能较大），但有时候这些图片不够清晰。我们可以尝试使用`objURL`（原始图片链接，但可能是其他网站的链接，下载时需要注意）或者`middleURL`（中等大小图片）。我们这里选择`thumbURL`作为示例。但是，引用[3]中使用的URL构造方式，我们可以参考其翻页参数。实现代码步骤：1.导入必要的库：requests,re,os,time2.定义搜索关键词和保存路径3.构造请求头，模拟浏览器4.循环翻页，构造每一页的URL5.发送请求，获取响应文本6.使用正则表达式提取图片URL（这里我们提取thumbURL字段）7.遍历图片URL，下载并保存注意：下载图片时，需要设置stream=True以避免大文件一次读入内存。但是，百度图片的搜索结果页中，图片URL是直接可用的吗？实际上，我们提取的thumbURL可以直接用于下载。代码示例：注意：由于百度图片可能有反爬机制，我们可能需要使用代理或增加延迟。另外，如果请求频繁，可能会被限制，因此建议在循环中增加延时。下面我们编写代码：注意：本代码仅供学习参考，请勿用于非法用途或对百度服务器造成压力。</think>我将为您详细介绍如何使用Python批量爬取和下载图片，并提供完整代码示例。 ### Python批量图片爬取方案 #### 核心步骤 1. **分析目标网站结构** 百度图片的搜索接口为： `https://image.baidu.com/search/flip?tn=baiduimage&word=[关键词]&pn=[页码]` 其中`pn`参数控制翻页（每页约20张图片） 2. **提取图片URL** 在返回的HTML中，图片URL隐藏在JSON数据中，可通过正则表达式提取： ```python pattern = re.compile(r&#39;"thumbURL":"(.*?)"&#39;) ``` 3. **下载图片** 使用`requests`库实现高效下载： ```python with open(file_path, &#39;wb&#39;) as f: f.write(requests.get(img_url, headers=headers).content) ``` #### 完整代码 ```python import requests import re import os import time def download_baidu_images(keyword, max_count=100, save_dir=&#39;images&#39;): """ 批量下载百度图片 :param keyword: 搜索关键词 :param max_count: 最大下载数量 :param save_dir: 保存目录 """ # 创建保存目录 os.makedirs(save_dir, exist_ok=True) # 请求头设置 headers = { &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36&#39; } # 图片计数器和页码 count = 0 page = 0 while count < max_count: # 构造请求URL url = f&#39;https://image.baidu.com/search/flip?tn=baiduimage&word={keyword}&pn={page*20}&#39; try: # 发送请求 response = requests.get(url, headers=headers) response.encoding = &#39;utf-8&#39; html = response.text # 正则提取图片URL img_urls = re.findall(r&#39;"thumbURL":"(.*?)"&#39;, html) if not img_urls: print("未找到图片，可能已达限制") break # 下载图片 for img_url in img_urls: if count >= max_count: break try: # 获取图片二进制数据 img_data = requests.get(img_url, headers=headers, timeout=10).content # 生成文件名 file_name = f"{keyword}_{count}.jpg" file_path = os.path.join(save_dir, file_name) # 保存图片 with open(file_path, &#39;wb&#39;) as f: f.write(img_data) print(f"已下载: {file_name}") count += 1 except Exception as e: print(f"下载失败 {img_url}: {str(e)}") # 防止请求过快 time.sleep(0.5) page += 1 except Exception as e: print(f"请求失败: {str(e)}") break # 使用示例 if __name__ == "__main__": download_baidu_images(keyword="风景", max_count=50) ``` #### 关键注意事项 1. **请求频率控制** - 添加`time.sleep(0.5)`避免触发反爬机制 - 随机化等待时间更安全：`time.sleep(random.uniform(0.3, 1.2))` 2. **请求头设置** 必须包含有效的`User-Agent`，模拟浏览器行为 3. **错误处理** - 网络超时：`requests.get(..., timeout=10)` - 异常捕获：防止单张图片失败中断整个流程 4. **代理设置（可选）** 如需使用代理： ```python proxies = { &#39;http&#39;: &#39;http://10.10.1.10:3128&#39;, &#39;https&#39;: &#39;http://10.10.1.10:1080&#39; } requests.get(url, proxies=proxies) ``` #### 优化建议 1. **多线程下载** 使用`concurrent.futures`加速下载： ```python from concurrent.futures import ThreadPoolExecutor with ThreadPoolExecutor(max_workers=5) as executor: executor.map(download_single_image, img_url_list) ``` 2. **断点续传** 记录已下载URL，重启时跳过： ```python if os.path.exists(&#39;downloaded.log&#39;): with open(&#39;downloaded.log&#39;) as f: downloaded = set(f.read().splitlines()) ``` 3. **图片去重** 使用MD5校验重复图片： ```python import hashlib md5 = hashlib.md5(img_data).hexdigest() ``` ### 法律与道德提示 1. 遵守目标网站的`robots.txt`协议 2. 尊重版权，仅下载授权允许的图片 3. 避免高频请求（建议≥0.5秒/请求） 4. 商业用途需获得图片授权
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值