本文介绍了Python爬虫中requests和scrapy两种常用库的相似点及应用场景。它们都能进行网页请求和数据抓取，适用于不同规模的需求。对于小型项目，requests库更为简便；大型项目则推荐使用功能丰富的scrapy框架；对于高度定制的需求，可能需要自定义框架，从requests开始逐步构建到scrapy。选择合适的工具能有效提高爬虫项目的效率。
相同点：
1.两者都可以进页面请求和爬取，python爬虫的两个重要技术路线。
2.两者可用性都好，文档丰富，入门简单。
3两者都没有处理js，提交表单，应对验证码等功能。
针对目标进行技术路线的选取：
1.非常小的需求，使用requests库。
2.需求较大，使用scrapy库。
3.定制程度很高的需求，自搭框架，requests>scrapy。
爬虫库对比：requests vs scrapy
相同点：
1.两者都可以进页面请求和爬取，python爬虫的两个重要技术路线。
2.两者可用性都好，文档丰富，入门简单。
3两者都没有处理js，提交表单，应对验证码等功能。
针对目标进行技术路线的选取：
1.非常小的需求，使用requests库。
2.需求较大，使用scrapy库。
3.定制程度很高的需求，自搭框架，requests>scrapy。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
扫一扫
