Scrapy总结

冬天不下雪i

于 2018-11-25 20:53:24 发布

阅读量131

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/qq_39655431/article/details/84502404

19 篇文章

订阅专栏

本文深入探讨了Scrapy框架中默认GET请求的发送机制，以及如何通过重写start_requests方法来自定义请求方式，实现对start_urls列表中URL的灵活处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy中默认发送get请求 : 不带参数
start_requests: 指定第一批发送带参数的请求方式
start_requests()方法用以处理 start_urls里的每个请求发送方式，可以重写该方法自定义处理。

def start_requests(self):
  for url in self.start_urls:
    yield scrapy.Request(url, callback=self.parse, dont_filter=True)