python爬虫——利用百度搜索引擎爬取所需图片

最新推荐文章于 2024-01-17 18:17:45 发布

极星满空

最新推荐文章于 2024-01-17 18:17:45 发布

阅读量4.1k

点赞数 10

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/qq_34875097/article/details/89525158

版权

本文介绍了一种改进的Python爬虫方法，用于从百度搜索引擎抓取图片。针对请求超时异常，作者提供了解决方案，确保程序不会因个别无法访问的URL而中断。示例展示了如何搜索并下载‘苹果’相关的图片，通过改变关键词为‘水果苹果’，能更准确地获取所需内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：python 爬取动态网页（百度图片）
说明：在上面这位博主的贴子的基础上做了一些改进，解决了有些URL无法访问导致的请求超时异常抛出致使程序退出的问题。话不多说，直接上代码。

import re
import os
from urllib import parse
from urllib import request

# 网页地址  正则表达式
url = ('https://image.baidu.com/search/acjson?'
'tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&'
'queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&'
'word={word}&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&'
'pn={pn}&rn=30&gsm=5a&1516945650575=')
pattern = '"thumbURL":"(.+?\.jpg)"'

# 输入需要下载数量和关键字  返回获取所有搜索页面url
def geturls(num,word):
    word = parse.quote(word)
    urls = [<