学习豆瓣爬虫的时候,用到request的时候,一直报错下面这样
报错的代码(部分)
import request
import time
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
1
# 构造请求头信息
header = {
'User-Agent':'Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5'
}
# URL规律
# https://www.douban.com/group/?start=0 第1页
# https://www.douban.com/group/?start=50 第2页
# start= (n-1)*50
# https://www.douban.com/group/?start=100 第3页
def loadpage(fullurl,filename):
print('正在下载:',filename)
req =request.Request(fullurl,headers