爬虫总结(三)-- cloud scrapy

Omni-Space

墨衍会员 · AI 创作全网分发码龄11年

关注

转载最新推荐文章于 2026-07-19 12:06:20 发布 2.6k 阅读 AI 写同款· GEO 优化 ›

【高效又实用】吃透这五个爬虫框架，轻松爬取想要的数据 Python爬虫框架一般在遇到比较大型的需求时会用到，主要是为了方便管理以及扩展。下面收集整理了5个高效的爬虫框架，各有不同，大家在使用的时候，可以根据具体场景选择合适的框架。阅读详情

发现了一个比较好玩的东西，scrapinghub，试着玩了一下 cloud scrapy，因为就它是免费的。。最大优点是可以将爬虫可视化。这里就简单记录一下它怎么用。

注册账号 & 新建 scrapy cloud project

在scrapyinghub 官网注册账号
登录后 create project，在新建的项目下，查看 Code & Deploys，找到 API key 和 Project ID

Deploy your project

$ pip install shub

$ shub login
Enter your API key from https://dash.scrapinghub.com/account/apikey
API key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
Validating API key...
API key is OK, you are logged in now.

deploy 并输入 Project ID

$ shub deploy ProjectID
Packing version ed6b3b8-master
Deploying to Scrapy Cloud project "76180"
{"status": "ok", "project": 76180, "version": "ed6b3b8-master", "spiders": 1}
Run your spiders at: https://dash.scrapinghub.com/p/76180/

Schedule your spider

在自己的项目面板下选择 run spider 开启爬虫，也可以通过命令行开启。

shub schedule Zhidao
Spider Zhidao scheduled, job ID: 76153/2/2
Watch the log on the command line:
    shub log -f 2/2
or print items as they are being scraped:
    shub items -f 2/2
or watch it running in Scrapinghub's web interface:
    https://dash.scrapinghub.com/p/76153/job/2/3

看最新的 log 和 items
JOBID格式：2/2， 2/1 …

shub log JOBID
shub items JOBID

或者 Dashboard 查看结果

通过 Dashbord 还可以实时监控 crawler job 的情况，发出的请求数，抓取的 item 数，log 和 error 信息，执行的时间等，都一目了然。

Save items

curl -u APIkey: http://storage.scrapinghub.com/items/76153/2/2 > items.json

分布式爬虫

cloud scrapy 也提供了分布式爬虫的选择，当然是付费的。

Crawlera

强悍的 Crawlera 提供了防止 ban 的机制，通过 ip、user-agent、cookie 等设置，防止爬虫被禁，详见 billing

完整代码

参考链接:
http://doc.scrapinghub.com/scrapy-cloud.html#deploying-a-scrapy-spider

原文地址：　http://www.shuang0420.com/2016/06/15/%E7%88%AC%E8%99%AB%E6%80%BB%E7%BB%93-%E4%B8%89-scrapinghub/