爬虫—图片 - Pixabay

最新推荐文章于 2024-05-14 17:01:26 发布

原创最新推荐文章于 2024-05-14 17:01:26 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

python爬虫专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一个使用Python编写的简单爬虫程序，该程序能够从Pixabay网站抓取高清图片资源。通过构造完整的URL链接并利用requests和lxml.etree进行网页解析，程序实现了图片地址的获取及下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

https://pixabay.com/

#coding : utf -8

import requests
from lxml import etree
import time
import urllib


def Full_url():
    full_link = []
    for i in range(1,166):
        full_link.append("https://pixabay.com/zh/editors_choice/?media_type=photo&pagi="+ str(i))

    return full_link

def Download(url):

    header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    r = requests.get(url, headers=header).text
    s = etree.HTML(r)
    r = s.xpath("//img/@data_lazy")
    for i in r:
        imglist = i.replace("__340","_960_720")
        name = imglist.split('/')[-1]
        urllib.request.urlretrieve(imglist,name)

if __name__ == "__main__":
    urls = Full_url()
    for url in urls:
        Download(url)