python爬虫简单爬取壁纸

鑫xing

于 2021-05-27 21:56:45 发布

阅读量586

点赞数 6

分类专栏：爬虫文章标签： python html

本文链接：https://blog.youkuaiyun.com/weixin_52612318/article/details/117338726

版权

本文介绍了如何使用Python爬虫技术从4K壁纸网站抓取并下载壁纸。首先，通过requests和lxml库获取网站分类，让用户选择下载的壁纸类型。接着，获取所选类型的所有页面数，并让用户指定下载范围。然后，拼接每一页的URL并创建对应文件夹存储壁纸。最后，请求每一页，解析HTML，下载并保存图片。整个过程详细展示了Python爬虫的基本步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本次小实验的目的爬取4k壁纸网站的壁纸，但以为实力有限所以只能爬取网站样图，本次爬取的数据仅供学习使用。

网站样式：
在这里插入图片描述

代码部分：

import requests
import os
import time
from lxml import etree

if __name__ == "__main__":
    url = 'http://pic.netbian.com/'
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
    }
    print('———————————————————搜索壁纸类型中————————————————————')
    print('——————————————————共搜索到以下类型壁纸——————————————————')
    #------（1）-------------首先对首页请求 ，返回所有的壁纸类型------------

    r1 = requests.get(url =url ,headers =headers)
    r1.encoding = r1.apparent_encoding
    r1_html = r1.text
    tree1 = etree.HTML(r1_html)
    kind = tree1.xpath('//div[@class="classify clearfix"]/a/text()')
    a=1

    #------（2）------------打印搜索到的所有类型------------------------

    for k in kind:
        print(str(a)+':'+str(k))
        a=a+1
    b = input('选择需要下载的类型（输入对应的序号）：')
    #获取连接的后缀用于拼接

    <

最低0.47元/天解锁文章