crawlab爬虫

最新推荐文章于 2025-04-27 00:02:37 发布

Floatingshen

最新推荐文章于 2025-04-27 00:02:37 发布

阅读量964

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：数据挖掘

本文链接：https://blog.youkuaiyun.com/Floatingshen/article/details/110956432

本文详细介绍了Crawlab爬虫的安装过程，包括Docker部署和直接部署的步骤，以及运行Crawlab主节点的示例。此外，还阐述了Crawlab的架构，包括主节点、工作节点、MongoDB和Redis的角色。Crawlab前端基于Vue-Element-Admin，支持与其他框架集成，如Scrapy，提供了一个灵活的爬虫管理解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装
方式:

Docker（推荐）
直接部署（了解内核）
要求（Docker）
Docker 18.03+
Redis
MongoDB 3.6+
要求（直接部署）
Go 1.12+
Node 8.12+
Redis
MongoDB 3.6+
运行
Docker
运行主节点示例。192.168.99.1是在Docker Machine网络中的宿主机IP地址。192.168.99.100是Docker主节点的IP地址。

docker run -d --rm --name crawlab
-e CRAWLAB_REDIS_ADDRESS=192.168.99.1
-e CRAWLAB_MONGO_HOST=192.168.99.1
-e CRAWLAB_SERVER_MASTER=Y
-e CRAWLAB_API_ADDRESS=192.168.99.100:8000
-e CRAWLAB_SPIDER_PATH=/app/spiders
-p 8080:8080
-p 8000:8000
-v /var/logs/crawlab:/var/logs/crawlab
tikazyq/crawlab:0.3.0
当然也可以用docker-compose来一键启动，甚至不用配置MongoDB和Redis数据库，当然我们推荐这样做。在当前目录中创建docker-compose.yml文件，输入以下内容。

version: ‘3.3’
services:
master:
image: tikazyq/crawlab:latest
container_name: master
environment:
CRAWLAB_API_ADDRESS: “localhost:8000”
CRAWLAB_SERVER_MASTER: “Y”
CRAWLAB_MONGO_HOST: “mongo”
CRAWLAB_REDIS_ADDRESS: “redis”
ports:
- “8080:8080” # frontend
- “8000:8000” # backend
depends_on:
- mongo
- redis
mongo:
image: mongo:latest
restart: always
ports:
- “27017:27017”
redis:
image: redis:latest
restart: always
ports:
- “6379:6379”
然后执行以下命令，Crawlab主节点＋MongoDB＋Redis就启动了。打开http://localho