爬取下来的图片都打不开,没找到原因:
没有设置时间间隔,应该是被封ip了,网页可以看,但是点不开大图了。
import requests,urllib.request
from bs4 import BeautifulSoup
import os
import datetime
#获取当前年月日并创建以年月日命名的文件夹
today=datetime.date.today()
if not os.path.exists(f'{today}'):
os.makedirs(f'{today}') #如果没有这个path则直接创建
#爬虫部分
#头文件
header={"User-Agent":"Mozila/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36"} #利用header模拟是从谷歌浏览器发出请求
name=1
for i in range(2,4):
url='https://www.gamersky.com/ent/202009/1319344_{}.shtml'.format(i)
r=requests.get(url,headers=header)
r.encoding = r.apparent_encoding#解决中文乱码问题
html=r.text
soup=BeautifulSoup(html,'lxml')#lxm