python爬取天堂网图片

最新推荐文章于 2021-11-04 20:21:11 发布

dayun555

最新推荐文章于 2021-11-04 20:21:11 发布

阅读量6.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/dayun555/article/details/79375841

该博客介绍了如何使用Python的requests和lxml库爬取并下载天堂网的图片。首先，通过requests获取网页源码，然后使用lxml解析HTML，定位到图片链接。接着，创建文件夹保存图片，并逐页下载图片，直至无更多图片。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#获取网页源码/下载网页/图片/视频/音频
import requests
#解析网页相关数据
from lxml import  etree
#操作文件夹/路径
import os

#1.下载网页源码
#2.解析网页源码（难度比较大）
#3.解析相关数据

url="http://www.ivsky.com/tupian/ziranfengguang/"
response=requests.get(url)
#content text  只不过数据类型不一样


#把网页源码解析为根节点
#root 根节点 相当于网页的根
root=etree.HTML(response.content)
#根据xpath来定位相关数据
#ul li a
#注意：xpath返回的结果一定是一个列表
a_list=root.xpath("//ul[@class='tpmenu']/li/a")
#a_list[1:] 对列表进行切片，跳过“所有分类”这个元素
for a in a_list[1:]:
    # print(a)  <Element *****> 元素类型

    #text()表示获取标签之间的内容
    big_title=a.xpath("text()")[0]
    #获取标签中的某个属性 @属性名称
    big_url=a.xpath("@href")[0]
    if not big_url.startswith("http"):
        big_url="http://www.ivsky.com"+big_url
    print(big_title,big_url)

    #1.下载
    big_response=requests.get(big_url)
    #2.解析
    big_root=etree.HTML(big_response.content)
    big_a_list=big_root.xpath("//div[@class='sline']/div/a")
    for big_a in big_a_list:
        small_title=big_a.xpath("text()")[0]