爬取美女图,并下载保存到本地的文件夹【picture】中
打开网址,然后右键图片点击【查看元素】查看图片链接位置
网页存在于class属性为lazy的标签中的data-original属性中
# 使用的默认编码为utf-8
# -*- coding:utf-8 -*-
# 导入名为requests的模块
import requests
# 导入lxml模块中的etree函数,用于将网页改为etree格式,进行匹配图片链接
from lxml import etree
"""
设置浏览器头部,
User-Agent用于表示浏览器的参数信息
Referer用于设置使用那个网页跳转过来的
url用于设置网址模板,可以通过.format参数补充网址
"""
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0",
"Referer":"https://“image.baidu.com”/jiepai/comment-page-1/",}
url = 'https://“image.baidu.com”/jiepai/comment-page-{}/#comments'
name = 0
# 下载网页
def get_html(url):
"""获取网页代码并以返回值的形式弹出"""
html = requests.get(url,headers=header).text
return html
# 下载图片
def get_img(url):
"""下载图片并保存到指定文件夹下"""
global name
name +=1
img_name = 'picture\\{}.jpg'.format(name)
img = requests.get(url,headers=header).content
with open (img_name,'wb') as save_img:
save_img.write(img)
# 获取图片链接
def get_url(ht