python 爬虫/ 批量获取多页图片并下载 P1-2

一.项目需求

获取多页电子海报

二.本次项目要点

2.1 涉及获取多页，即翻页（需分页每页url规律，进行遍历获取）

2.2 图片获取并下载 （图片内容获取用content，下载读取用wd)

三.爬虫代码

3.1 导入模块（需要的时候在顶部添加）

import requests   #本次采用requests方法
from lxml import etree   #解析用xpath

3.2 获取url 请求头

urlpic='https://www.jkl.com.cn/phoLis.aspx'
headers={
    'User-Agent':'这里放自己浏览器的user-agent'
}

3.3 分析翻页规律 并获取每一页

3.3.1 翻译规律：遍历每一页

for page in range(1,5):
    data={
        'current':page
    }

3.3.2 获取每一页的网页信息并将图片链接解析出来

for .....
    #包含在上一个for循环的里面
    responsepic=requests.get(url=urlpic,headers=headers,params=data).text #获取每页信息
    pathpic=etree.HTML(responsepic) #解析网页
    pic=pathpic.xpath('//div[@class="proLis"]