RUN__IT # 爬虫gerapy的部署

最新推荐文章于 2022-04-13 14:14:30 发布

原创

最新推荐文章于 2022-04-13 14:14:30 发布 · 273 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何部署和使用Gerapy管理Scrapy项目。首先，下载并初始化Gerapy，创建数据库，然后运行服务。接着，配置Scrapyd主机，启动服务，并将项目文件放入指定目录。在Gerapy中编辑、部署项目，进行任务调度和状态管理。注意，Scrapy 1.6需要搭配twisted 18.9.0以避免错误。

爬虫部署

scrapyd

1. 服务端安装  pip install scrapyd 
   2. 客户端安装  pip install scrapyd-client

   3. 服务端 有个设置文件 :conf配置文件  bind_address = 0.0.0.0; 允许所有的IP访问
   4. 项目配置: 

            原始样子
            [deploy]
            #url = http://localhost:6800/
            project = Tencent

            设置之后
            [deploy:scrapyd_Tencent]
            url = http://localhost:6800/
            project = Tencent
            
            
 5. 开启服务 scrapyd
    6. 发布爬虫的项目
         6.1 cd  到爬虫项目 的路径
         6.2 部署
         scrapyd-deploy scrapyd_Tencent -p Tencent

    7.开启爬虫
    curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis
    curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis


    8.关闭爬虫                      
     curl http://localhost:6800/cancel.json -d project=BOOK -d job=0c46dddc0be311e9baefacbc329a1151		
     curl http://localhost:6800/cancel.json -d project=BOOK -d job=48bdefe6e59411e8a4d0acbc329a1151