爬虫，记录第六次爬虫实战（加正则，糗事百科图片）

最新推荐文章于 2025-09-05 11:36:43 发布

转载最新推荐文章于 2025-09-05 11:36:43 发布 · 55 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/sucanji/p/10842271.html

文章标签：

#爬虫

本文介绍了一款使用Python的requests和re模块从糗事百科网站抓取图片的爬虫程序。通过设置用户代理和定义请求头，该程序能够遍历指定页数的图片页面，利用正则表达式提取图片链接并下载到本地目录。这是作者进行的第三次爬虫实践，增加了正则表达式的应用，是一次富有成效的学习经历。

import requests
import re
import os

if not os.path.exists('qiushiLibs'):
    os.mkdir('qiushiLibs')
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36'}
url = 'https://www.qiushibaike.com/pic/page/%d/?s=5191431'
for page_number in range(1,3):
    new_url = format(url%page_number)
    page_text = requests.get(url=new_url,headers=headers).text
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    imag_url = re.findall(ex,page_text,re.S)
    for large_url in imag_url:
        large_url = 'https:'+ large_url
        page_content = requests.get(large_url,headers=headers).content
        imag_name = large_url.split("/")[-1]
        imagPath = 'qiushiLibs/' + imag_name
        with open(imagPath,'wb') as fp:
            fp.write(page_content)
            print('辛辛苦苦')