使用Python3+requests库爬取海量精美图片(改良版)

最新推荐文章于 2022-04-02 13:43:37 发布

原创最新推荐文章于 2022-04-02 13:43:37 发布 · 827 阅读

0 ·

CC 4.0 BY-SA版权

Python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Python的requests库进行网页抓取，并通过正则表达式解析网页内容，实现图片的批量下载。文章详细展示了从创建目录、切换工作路径到设置请求头、发送请求、解析响应、下载图片的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装requests库

打开cmd，输入命令：pip install requests

import re,os,time
import requests

os.mkdir('mm')
os.chdir('mm')

#请求头
head={}
head['User-Agent']='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'

#设置网站起始页码
cou=2350
while True:
    strcou=str(cou)
    cou=cou+1
    #网站首页地址
    url2='http://jandan.net/ooxx/page-'+strcou+'#comments'
    a=requests.post(url2,data=None,headers=head)
    res=a.content.decode('utf-8')
    #正则表达式匹配网址
    a=re.findall(r'//wx+.+?.jpg',res)
    #去掉列表中重复的网站点
    ll=list(set(a))
    #计算列表中有多少个网站
    b=len(ll)
    c=b-1
    while True:
        #这个是图片地址
        url='http:'+a[c]
        resp=requests.post(url,data=None,headers=head)
        res=resp.content
        #保存图片
        with open(str(int(time.time()))+'.jpg','wb') as f:
            f.write(res)
        c-=1
        if c==0:
            break