【requests库】爬取Pixiv日榜图片 并保存到本地

本来计划用BeautifulSoup，但是电脑上的chrome版本不能给网页源代码换行，标签找得让人头大，就改用requests了。

所需库：requests、re

代码如下：

import requests
import re

#访问日榜首页
url="https://www.pixiv.net/ranking.php"
father="https://www.pixiv.net/"
child_url_list=[]
resp=requests.get(url)

#获取图片详细信息页面链接
obj=re.compile(r"<div class=\"ranking-image-item\"><a href=\"(?P<image_URL>.*?)\"class",re.S)
result=obj.finditer(resp.text)
#存入列表
for it in result:
    list=it.group('image_URL')
    child_url=father+list.strip("/")
    child_url_list.append(child_url)

#获取原图片
obj1=re.compile(r"\"original\":\"(?P<download_URL>.*?)\"")
headers = {'Referer': 'https://www.pixiv.net/'}#由于pixiv设置了图片防盗链，故需请求头添加Referer，作用为告诉服务器【本次访问通过主页发起】，防止访问被拒绝
requests.packages.urllib3.disable_warnings()#防止下载时弹出警告
root="G://pixiv_image//"#定义根目录
cnt=0
for href in child_url_list:
    if cnt>9:
        break
    final = requests.get(href)
    real_image_url = obj1.search(final.text)
    DL_URL=real_image_url.group('download_URL')
    path = root + str(DL_URL).split('/')[-1]
    pic = requests.get(DL_URL, headers=headers, verify=False, timeout=5)#verify=False：关闭SSL证书验证，防止下载失败；timeout=5：限制请求时间，防止访问过于频繁报错
    with open(path, 'wb') as f:
        f.write(pic.content)
        f.close()
        print("SUCCESS!")
    cnt=cnt+1#限制下载数

效果：

参考：

• https://www.cnblogs.com/ghgxj/p/14219119.html
• https://blog.youkuaiyun.com/weixin_39514626/article/details/111839821
• https://www.jianshu.com/p/1a6abab212ed