
scrapy
小可爱的饲养员
这个作者很懒,什么都没留下…
展开
-
浅谈scrapy
1.为什么使用scrapy框架来写爬虫 ? 在python爬虫中:requests + selenium 可以解决目前90%的爬虫需求,难道scrapy 是解决剩下的10%的吗?然而并不是这样。scrapy框架是为了让我们的爬虫更强大、更高效, 让我们写的爬虫更具有健壮性。接下来我们一起认识一下它吧。 2.什么是scrapy? Scrapy 使用了Twisted[‘tw...原创 2018-08-12 12:21:43 · 730 阅读 · 0 评论 -
scrapy的settings中的常用设置.
scrapy.settings中的的一些设置. # scrapy默认深度优先, 如果想换成广度优先..添加下面代码. DEPTH_PRIORITY = 1 SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue' SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue SCHED...原创 2019-01-20 12:37:36 · 879 阅读 · 0 评论 -
scrapy常用命令
原创 2019-01-20 12:49:35 · 221 阅读 · 0 评论