python爬虫、四（百度图片爬取）

最新推荐文章于 2024-06-18 10:52:11 发布

轻随风去

最新推荐文章于 2024-06-18 10:52:11 发布

阅读量879

点赞数 4

CC 4.0 BY-SA版权

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/weixin_41706016/article/details/98106855

python爬虫、四（百度图片爬取）

我们在观察百度图片的时候，发现他的图片仿佛无穷无尽，可以一直下拉，然后我们观察他的网页，发现刚开始刷新和下拉之后的源代码不同，增加了一些内容。通过谷歌浏览器的查找功能发现图片的链接就保存在这些新增的代码中，这就是异步加载，所需要的内容并不直接在页面源代码中，而是一次次的加载。
1、在检查之后的network -> 下拉加载更多图片，可以发现有许多的加载文件，选择XRL文件，大概每三十张图片加载一个XRL文件。
2、选择Headers可以看到一个Request URL链接，可以用浏览器打开，就是加载的XRL文件的内容，不过很乱，不方便观察(也可以点开Response，里面就是他的内容，和用浏览器打开是一样的）。也可以点开旁边的Preivew，这个界面是XRL文件，但像网页源代码一样被整理过的，比较好观察。点开之后可以观察到其中的内容，其中有很多的链接。

在这里插入图片描述
如下图，一共三十个，每个都包含了一张图片，然后我们需要找到他们的链接。

在这里插入图片描述
看了很多别人的博客，然后知道页面里面有四种图片链接，middleURL、hoverURL、thumbURL、objURL。其中objURL（注意不是ObjURL）是原图，我们也是下载这个。

然后现在就是要写代码了，就两个地方需要提一下：
1、params，观察每个XRL文件的Query String Parameters，会发现他和XRL链接是一样的，每个就几个字段不同，然后可以发现pn就是第几页*30，gsm是pn的16进制数，最后面那一串数字不知道是什么，但是貌似没有关系，所以就构造出一个获取图片链接资源的函数。

在这里插入图片描述
2、找到objURL链接。有了XRL文件可以直接用正则表达式去匹配：'objURL":"(.*?)",'。然后我们可以发现他是乱码，反而其他链接可以下载，我尝试了thumbURL，下载的也很正常，但为什么objURL是这样的呢？
objURL:"ippr_z2C$qAzdH3FAzdH3Ft_z&e3B8080nv1g_z&e3Bv54AzdH3FduigehAzdH3FYWxqwGBuAzdH3Fv4fnAzdH3F1xskeTk4vgqCF54_z&e3B3r2""
因为他是加密的（我也搞不懂为什么别的博客貌似没有这个问题，可能以前没有吧），看到了一篇博客解析百度objURL

然后下面就是所有的代码

# 这一次想要弄一个爬虫，爬取百度图库的图片并保存在指定文件夹中
'''
接口：
输入搜索的名字，图片个数
下载图片
'''
import re
import requests
import time
import os

headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K\
    HTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}

# 给定网址，获取其源代码
def get_html(url, param):
    i = 1
    while i < 6:
        try:
            html = requests.get(url, headers=headers, params=param, timeout=2 + i * 3)
            return html
        except requests.exceptions.RequestException as e:
            print("获取页面" + url + " 时  第" + str(i) + "次失败   \n原因为：" + str(e))
            i += 1
    return 1


# 给定你一个图片的链接，保存路径，图片名字，将其下载到本地
def download_picture(url, path, name):
    r = get_html