爬虫异常处理与浏览器伪装-优快云博客

本文介绍在Python爬虫中如何处理URL错误和HTTP错误，通过使用try-except语句来捕获并打印错误代码及原因。同时，介绍了如何通过设置User-Agent来模拟Firefox浏览器，解决某些网站对Chrome限制的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

异常处理：
在爬取的过程中，有可能会出现
URLHttp rror HTTPerror的错误，此时就需要使用到爬虫中的异常处理
语法：
try:
pass
except urllib.error.URLerror(HTTPerror) as a: pass
import urllib.error
import urllib.request
url = ‘http://www.scapzx.com/’
data = urllib.request.urlopen(url).read()
print(data)
try:
urllib.request.urlopen(url)
except urllib.error.URLError as a:
if hasattr(a,‘code’):
print(a.code)
if hasattr(a,‘reason’):
print(a.reason)
浏览器伪装：对于一些网站，Chrome不能够访问而用firefox就能够访问所以我就将请求伪装为firefox从而进行访问
import urllib.request# url =‘https://www.baidu.com/’
head =(‘User-Agent’,‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3452.0 Safari/537.3’)
此出是在添加报头，
req = urllib.request.build_opener()
添加请求添加请求的目的是针对urlopen不能够访问的url
req.addheaders = [head]
添加头
data = req.open(url).read()
读取url
print(data)
f = open(‘文件路径’,‘wb’)
f.write(data)