python scrapy处理404

最新推荐文章于 2025-04-25 12:27:48 发布
原创 最新推荐文章于 2025-04-25 12:27:48 发布 · 3.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了一种在自定义爬虫类中处理HTTP 404状态码的方法，通过设置handle_httpstatus_list属性为[404]，使得爬虫能够正确处理不存在页面的状态码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

class ZfSpider(RedisSpider):
    handle_httpstatus_list = [404]
在自己的代码中，加入
handle_httpstatus_list = [404]
就可以了。

                

        

    

    
  



    



                



	

		

			

				
					
【Python爬虫必备—＞Scrapy框架快速入门篇——上】

				
			

			

				

					孤寒者的博客
				

				

					08-09
					
					64万+
					
				

			

		

		

			
				
【Python爬虫必备—＞Scrapy框架快速入门篇——上】

			
		

	



                

            
              



	

		

			

				
					
python进阶-04-Python Scrapy带你掌握Python Scrapy（2.12）爬虫框架，附带实战

				
			

			

				

					Lookontime的博客
				

				

					11-27
					
					874
					
				

			

		

		

			
				
在Python进阶系列我们来介绍Scrapy框架最新版本2.12，远超市面上的老版本，Scrapy框架在爬虫行业内鼎鼎大名，在学习之前我想请大家思考Scrapy究竟能解决什么问题？或者能爬哪一类型的网站！还有针对Scrapy的局限性我们如何依然使用好Scrapy！好，开始我们今天的日拱一卒！

			
		

	



              


  
              

                


	

		

			

				
					
scrapy 出现４０４处理

				
			

			

				

					黑暗骑士
				

				

					09-20
					
					1万+
					
				

			

		

		

			
				
第一种解决策略：


from scrapy.http import Request
from scrapy.spider import BaseSpider


class MySpider(BaseSpider):
    handle_httpstatus_list = [404, 500]
    name = "my_crawler"

    start_urls = ["htt

			
		

	





	

		

			

				
					
scrapy框架遇到404就暂停怎么办？

				
			

			

				

					limit123123的博客
				

				

					09-19
					
					789
					
				

			

		

		

			
				
遇到404的状态码，暂停是scrapy的默认操作。

			
		

	



		

			
		



	

		

			

				
					
Requests可以请求Scrapy却却不行 返回404

				
			

			

				

					redis数据库安装及启用
				

				

					10-23
					
					1413
					
				

			

		

		

			
				
Requests可以请求Scrapy却却不行  返回404

			
		

	





	

		

			

				
					
scrapy 404 问题 & HTTP status code is not handled or not allowed

				
			

			

				

					笑笑布丁的博客
				

				

					09-25
					
					2948
					
				

			

		

		

			
				
背景：在使用scrapy爬取网页时，当一个页面的http code是404时，scrapy会略掉它，然而，如果你想在爬虫里对http code是404，做特殊处理的时候，就不会应验。
解决办法： 在settings 文件里 加上 ：
HTTPERROR_ALLOWED_CODES = [404]


...

			
		

	





	

		

			

				
					
scrapy 链接404_Python爬虫进阶（九）：http&scrapy请求与响应

				
			

			

				

					weixin_39607837的博客
				

				

					11-21
					
					675
					
				

			

		

		

			
				
前言在写系列教程的时候，很多时候我会以为自己写了一些东西，最后回头去看才发现完全没写到，就只能像这样赶紧补上一节。总的来说这都是因为我写东西不拉大纲(也许以后老板让我拉大纲我就会拉了)，还有一点是写教程的时候我也在学习，如果我中间断了一会或者写的时间太长了，确实会发生最后回看教程发现少写东西的情况。这还不是最丢人的，看上去总有一天我会在结束一个教程，说完“我就讲到这里为止”之后再发现自己少写了东西...

			
		

	





	

		

			

				
					
047-Python Scrapy 库

				
			

			

				

					小宝哥Code的专栏
				

				

					02-02
					
					1235
					
				

			

		

		

			
				
通过结合 Scrapy 的核心组件（Spider、Item、Pipeline、Middleware）和高级功能（分布式、反爬机制应对、数据存储），您可以快速构建高效、稳定的爬取系统。的高级功能，包括数据存储、多线程与异步爬取、分布式爬虫、反爬机制应对以及 Scrapy 的最佳实践。Scrapy 提供了多种方式存储爬取的数据，例如保存到 JSON、CSV 文件，或存储到数据库中。通过学习 Scrapy，您可以轻松构建高效、稳定的数据抓取系统，满足各种网页爬取需求。文件中定义数据结构，用于存储爬取的数据。

			
		

	





	

		

			

				
					
python Scrapy 框架 demo

				
			

			

				

					杨杨杨~~的博客
				

				

					09-29
					
					1647
					
				

			

		

		

			
				
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!

			
		

	





	

		

			

				
					
Python Scrapy：使用Scrapy Shell进行调试

					
最新发布

				
			

			

				

					Python编程之道的博客
				

				

					04-25
					
					1085
					
				

			

		

		

			
				
在网页抓取的过程中，我们常常会遇到各种问题，如无法正确提取数据、请求失败等。Scrapy Shell作为Scrapy框架提供的一个交互式调试工具，能够帮助开发者在不运行整个爬虫项目的情况下，快速测试和验证网页数据的提取逻辑、请求的正确性等。本文的目的就是详细介绍如何使用Scrapy Shell进行调试，范围涵盖Scrapy Shell的基本概念、使用方法、实际应用以及相关资源推荐等方面。本文将按照以下结构展开：首先介绍Scrapy Shell的核心概念与联系，包括其工作原理和架构；

			
		

	





	

		

			

				
					
第一个scrapy程序遇到的问题

				
			

			

				

					DEREK_D的博客
				

				

					11-15
					
					500
					
				

			

		

		

			
				
1 

no module name items

这里可以使用框架自带的命令操作，实验证明不会出这种错

scrapy gensipder sipder baidu.com

这里的spider 为爬虫名字，baidu.com为网站域名。

错误可能源于（1）import xxx，应该为from xxx  import xxx

                      （2）重新命名模块，名...

			
		

	





	

		

			

				
					
scrapy 让404不走failerr路线

				
			

			

				

					weixin_34315189的博客
				

				

					01-13
					
					302
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
项目一直报404解决方法

				
			

			

				

					m0_73882160的博客
				

				

					11-27
					
					5144
					
				

			

		

		

			
				
笔记

			
		

	





	

		

			

				
					
使用scrapy做爬虫遇到的一些坑：爬虫使用scrapy爬取网页返回403错误大全以及解决方案

				
			

			

				

					weixin_41931602的博客
				

				

					05-04
					
					3万+
					
				

			

		

		

			
				
今天学习scrapy爬取网络时遇到的一些坑的可能

正常情况：DEBUG: Crawled (200) <GET http://www.techbrood.com/> (referer: None)

错误情况：DEBUG: Crawled (403) <GET http://www.techbrood.com/> (referer: None)

一，网址的错误

一开始...

			
		

	





	

		

			

				
					
scrapy 处理302和404

				
			

			

				

					理想技术国
				

				

					03-29
					
					5653
					
				

			

		

		

			
				
问题背景

爬取网页的时候，我们有时会不知道网页的页码范围，如果超出了范围就会被重定向（302）
有时候我们会在意爬取数据的完整性，所以我们需要在页面获取失败时重爬（如404）

解决方案
302问题
在scrapy.Request()方法中有meta参数，通过这个参数我们可以对爬虫请求的行为进行进一步定制,详见官方文档的说明
scrapy对于302的默认行为是再次请求重定向后的地址并返回，在我遇...

			
		

	





	

		

			

				
					
用Python抓取全站中的404错误

				
			

			

				

					weixin_33736832的博客
				

				

					08-06
					
					1183
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
[Scrapy使用技巧] 如何在scrapy中捕获并处理各种异常

					
热门推荐

				
			

			

				

					Rei的博客
				

				

					06-15
					
					3万+
					
				

			

		

		

			
				
前言

  使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量，总有一部分种子爬取失败，失败的类型可能有如下图两种（下图为scrapy爬取结束完成时的日志）：



scrapy中常见的异常包括但不限于：download error（蓝色区域）, http code 40...

			
		

	





	

		

			

				
					
Python Scrapy安装详细指南

				
			

			

				

					
				

			

		

		

			
				
1. **Python版本**：Scrapy支持Python 2.7和Python 3.5及以上版本。由于Python 2已经在2020年停止官方支持，因此建议使用Python 3.5或更高版本。  2. **虚拟环境**：为了确保不会与系统中的其他Python项目冲突，建议...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
灰暗角落里的琴

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值