相同点:
1.两者都可以进页面请求和爬取,python爬虫的两个重要技术路线。
2.两者可用性都好,文档丰富,入门简单。
3两者都没有处理js,提交表单,应对验证码等功能。
针对目标进行技术路线的选取:
1.非常小的需求,使用requests库。
2.需求较大,使用scrapy库。
3.定制程度很高的需求,自搭框架,requests>scrapy。
爬虫库对比:requests vs scrapy
最新推荐文章于 2025-03-31 08:30:00 发布
相同点:
1.两者都可以进页面请求和爬取,python爬虫的两个重要技术路线。
2.两者可用性都好,文档丰富,入门简单。
3两者都没有处理js,提交表单,应对验证码等功能。
针对目标进行技术路线的选取:
1.非常小的需求,使用requests库。
2.需求较大,使用scrapy库。
3.定制程度很高的需求,自搭框架,requests>scrapy。