网络爬虫异常处理与浏览器伪装-优快云博客

本文链接：https://blog.youkuaiyun.com/big_data_study/article/details/102573432

import re
import urllib.request
import urllib.parse

#异常处理
‘’’
常见状态码及含义
URLError与HTTPError
爬虫如果不进行异常处理，下次运行时，又会重头开始
‘’’

‘’’
状态码
301 重定向到新的URL,永久性
302 重定向到临时的URL，非永久性
304 请求的资源未更新
400 非法请求
401 请求未经授权
403 禁止访问
404 没有找到对应页面
500 服务器内部出现错误
501 服务器不支持实现请求所需要的功能
‘’’

‘’’
URLError与HTTPError
HTTPError 是 URLError 子类，HTTPError 有异常状态码与异常原因，URLError 没有异常状态码，所以，在处理
的时候，不能使用URLError直接代替HTTPError。如果要代替，必须要判断是否有状态码属性。
‘’’

‘’’
URLError出现的原因：
1.连不上服务器
2.远程url不存在
3.无网络
4.触发HTTPError
123返回原因，不返回状态码，4返回状态码
‘’’
import urllib.error
try:
urllib.request.urlopen(“http://blog.youkuaiyun.com”)
except urllib.error.URLError as e:
if hasattr(e,“code”): #是否有状态码这个属性
print(e.code) #打印出来看看有没有状态码
if hasattr(e,“reason”): #是否有原因这个属性
print(e.reason) #打印出来看看有没有原因

#爬虫的浏览器伪装技术
‘’’
User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36
由于urlopen()对于一些http的高级功能不支持，所以，我们如果要修改报头，可以使用
urllib.request.build_opener()进行，也可以使用
urllib.request.Request()下的add_header()实现浏览器的模拟
主要讲第一种
‘’’
#浏览器伪装
import urllib.request
url = “http://blog.youkuaiyun.com”
#头文件格式header=(“User-Agent”,具体用户代理值)
headers = (“User-Agent”,“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36”)
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
#data=urllib.request.urlopen(url) #会报错，因为它默认不添加报头的对应下面问题1
fh = open(“D:/百度网盘/a1.html”,“wb”) #以二进制方式写
fh.write(data)
fh.close()
#print(len(data)) #看看有没有成功
‘’’
成功了
‘’’