爬虫Traceback (most recent call last):异常

最新推荐文章于 2025-05-09 16:34:59 发布

姜貞羽

最新推荐文章于 2025-05-09 16:34:59 发布

阅读量5.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_43868299/article/details/107545864

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种通过设置最大尝试次数来处理爬虫过程中因网站不稳定导致的连接失败问题的方法。通过对爬虫程序进行异常捕获和重试机制的优化，提高了爬虫的稳定性和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述

今天在爬虫的时候经常遇到Traceback (most recent call last):异常，程序写得比较简陋，没有处理异常，导致爬虫程序经常报错停止。经过调试，发现是爬虫网站不稳定导致连接失败。

解决方法

maxTryNum = 20
for tries in range(maxTryNum):
	try:
		response = requests.get(urls[i], headers=headers, timeout=60)
		with open(dir_name + '/' + file_name,'wb') as f:
			f.write(response.content)
	except:
		if tries < (maxTryNum - 1):
			continue
        else:
            print("Has tried %d times to access url %s, all failed!" % (maxTryNum, urls[i]))
            break