这次更新了代码 更新了写入系统路径的方法和创建图片名的方法
怎么写入到指定的文件 , 怎么更简洁爬虫 , 关注我!!! 持续更新!!!
代码如下
爬的网站在url下
# _*_coding:utf-8_*_
import requests
import urllib.request
from bs4 import BeautifulSoup
import os
lists = [x for x in range(2, 95)]
choose = input('请输入2-94之间任何数字: ')
if int(choose) not in lists:
url = r'http://699pic.com/tupian/ribenyinghua.html'
else:
url = r'http://699pic.com/sousuo-139787-0-%s-0-0-0.html' % choose
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/67.0.3396.62 Safari/537.36'}
req = urllib.request.Request(url, headers=header)
response = urllib.request.urlopen(req)
soup = BeautifulSoup(response, 'html.parser')
result = soup.findAll(attrs={'class': 'lazy'})
num = 0
if not os.path.exists('D:\\image'):
os.mkdir('D:\\image')
for i in result:
res = requests.get(i['data-original'])
new_pic = open('D:\\image./%spic%s.jpg' % (choose, num), 'wb')
new_pic.write(res.content)
new_pic.close()
print(num, res)
num += 1
print('完成!!!')
这个网址的首页和其余页码名称不一样,其余页码有规律 , 引入判断来分别
choose = input('请输入2-94之间任何数字: ')
if int(choose) not in lists:
url = r'http://699pic.com/tupian/ribenyinghua.html'
else:
url = r'http://699pic.com/sousuo-139787-0-%s-0-0-0.html' % choose
用requests第三方库获取每个标签的 data-o...nal对应的值,这个值是图片对应的网址
res = requests.get(i['data-original'])
在这如果路径中没有D盘下image文件夹 则使用os库操作mkdir创建一个image文件夹if not os.path.exists('D:\\image'):
os.mkdir('D:\\image')
引入num只是为了不重复覆盖之前的图片
num += 1