一个Python Scrapy爬虫在处理房地产网站时，遭遇了301重定向问题，并在声称完成6472个任务后自行关闭。尽管有228336个job待爬，但爬虫显示finish reason为'finished'。代码中，爬虫读取文件中的house_id_dict，并跟随每个ID生成新的URL进行抓取。问题可能是由于大量请求导致的队列溢出，或者与301重定向响应有关。目前尚未发现内存泄漏或其他系统层面的问题。
2017-10-17 11:48:18 [scrapy.core.engine] INFO: Closing spider (finished)
29957 2017-10-17 11:48:19 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
29958 {'downloader/request_bytes': 2175351,
29959 'downloader/request_count': 6472,
29960 'downloader/request_method_count/GET': 6472,
29961 'downloader/response_bytes': 494012842,
29962 'downloader/response_count': 6472,
29963 'downloader/response_status_count/200': 6419,
29964 'downloader/response_status_count/301': 53,
29965 'dupefilter/filtered': 8,
29966 'finish_reason': 'finished',
29967 'finish_time': datetime.datetime(2017, 10, 17, 11, 48, 19, 59301),
29968 'item_scraped_count': 6417,
29969 'log_count/DEBUG': 12891,
29970 'log_count/ERROR': 1,
29971 &#
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
