Crawlab安装

原创

已于 2022-05-05 00:42:40 修改 · 3.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #docker

于 2022-04-24 12:35:00 首次发布

0.6.0beta目前有问题，建议稳定版出了再用，稳定版出之前先用0.5.x。

Crawlab0.6.0-beta.20211224

按照0.6.0文档快速开始中的步骤(需提前安装Docker)：

docker pull crawlabteam/crawlab
# docker pull mongo 后面设置了使用自己的MongoDB，不用Crawlab的，所以这一步不用装
pip install docker-compose
在作为主节点的服务器创建配置文件并命名为docker-compose.yml，然后输入以下内容。下面的文件内容并不是快速开始中的，而是Docker - 外部 MongoDB中的，具体在下面代码第一行的注释。另外，CRAWLAB_MONGO_URI和CRAWLAB_MONGO_AUTHMECHANISM和CRAWLAB_MONGO_AUTHMECHANISMPROPERTIES不知道有什么用，所以我注释掉了

# from https://docs-next.crawlab.cn/zh/guide/installation/docker.html#%E5%A4%96%E9%83%A8-mongodb，这个文档是Crawlab0.6.0的文档，这个文档的链接来自https://github.com/crawlab-team/crawlab英文README中超链接Documentation (v0.6-beta)
# 外部 MongoDB 的主节点
version: '3.3'
services:
  master:
    image: crawlabteam/crawlab
    container_name: crawlab_master
    restart: always
    environment:
      CRAWLAB_NODE_MASTER: Y  # Y: 主节点
      # CRAWLAB_MONGO_URI: <mongo_uri>  # mongo uri (单独设置)
      CRAWLAB_MONGO_HOST: your host  # mongo host address
      CRAWLAB_MONGO_PORT: '27017'  # mongo port 
      CRAWLAB_MONGO_DB: 'crawlab'  # mongo database，没有数据库会自动创建 
      CRAWLAB_MONGO_USERNAME: your username  # mongo username
      CRAWLAB_MONGO_PASSWORD: your password  # mongo password 
      CRAWLAB_MONGO_AUTHSOURCE: 'admin'  # mongo auth source 
      # CRAWLAB_MONGO_AUTHMECHANISM: <mongo_auth_mechanism>  # mongo auth mechanism 
      # CRAWLAB_MONGO_AUTHMECHANISMPROPERTIES: <mongo_auth_mechanism_properties>  # mongo auth mechanism properties
    volumes:
      - "/opt/crawlab/master:/data"  # 持久化 crawlab 数据

最低0.47元/天解锁文章