python爬虫

最新推荐文章于 2025-05-23 08:35:29 发布

原创最新推荐文章于 2025-05-23 08:35:29 发布 · 157 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

7 篇文章

订阅专栏

本文介绍在Python爬虫中如何处理URL错误和HTTP错误，通过使用try-except语句来捕获并打印错误代码及原因。同时，介绍了如何通过设置User-Agent来模拟Firefox浏览器，解决某些网站对Chrome限制的问题。

异常处理：
在爬取的过程中，有可能会出现
URLHttp rror HTTPerror的错误，此时就需要使用到爬虫中的异常处理
语法：
try:
pass
except urllib.error.URLerror(HTTPerror) as a: pass
import urllib.error
import urllib.request
url = ‘http://www.scapzx.com/’
data = urllib.request.urlopen(url).read()
print(data)
try:
urllib.request.urlopen(url)
except urllib.error.URLError as a:
if hasattr(a,‘code’):
print(a.code)
if hasattr(a,‘reason’):
print(a.reason)
浏览器伪装：对于一些网站，Chrome不能够访问而用firefox就能够访问所以我就将请求伪装为firefox从而进行访问
import urllib.request# url =‘https://www.baidu.com/’
head =(‘User-Agent’,‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3452.0 Safari/537.3’)
此出是在添加报头，
req = urllib.request.build_opener()
添加请求添加请求的目的是针对urlopen不能够访问的url
req.addheaders = [head]
添加头
data = req.open(url).read()
读取url
print(data)
f = open(‘文件路径’,‘wb’)
f.write(data)