Crawl4AI废弃文档：Docker部署历史与迁移指南

Crawl4AI废弃文档：Docker部署历史与迁移指南

【免费下载链接】crawl4ai 🔥🕷️ Crawl4AI: Open-source LLM Friendly Web Crawler & Scrapper 项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai

1. 废弃说明

本文档详细记录了Crawl4AI项目中已废弃的Docker部署方式及其历史版本信息。随着项目的迭代发展，原有的Docker部署方案已被新的部署架构取代。本文档旨在帮助用户理解历史部署模式，并提供向最新部署方案迁移的指导。

2. 历史Docker部署方案

2.1 部署方式概览

Crawl4AI曾经提供三种Docker部署选项，以满足不同用户需求：

• 镜像仓库直接拉取（推荐方式）
• 从源代码构建镜像
• 使用Docker Compose进行编排部署

详细的历史部署文档可参考：docs/deprecated/docker-deployment.md

2.2 镜像仓库部署（推荐方式）

历史版本中，用户可直接从镜像仓库拉取预构建的Crawl4AI镜像，根据不同平台选择相应的镜像标签：

AMD64平台（常规Linux/Windows）

# 基础版本（推荐）
docker pull unclecode/crawl4ai:basic-amd64
docker run -p 11235:11235 unclecode/crawl4ai:basic-amd64

# 完整ML/LLM支持版本
docker pull unclecode/crawl4ai:all-amd64
docker run -p 11235:11235 unclecode/crawl4ai:all-amd64

# GPU支持版本
docker pull unclecode/crawl4ai:gpu-amd64
docker run -p 11235:11235 unclecode/crawl4ai:gpu-amd64

ARM64平台（M1/M2 Macs、ARM服务器）

# 基础版本（推荐）
docker pull unclecode/crawl4ai:basic-arm64
docker run -p 11235:11235 unclecode/crawl4ai:basic-arm64

# 完整ML/LLM支持版本
docker pull unclecode/crawl4ai:all-arm64
docker run -p 11235:11235 unclecode/crawl4ai:all-arm64

# GPU支持版本
docker pull unclecode/crawl4ai:gpu-arm64
docker run -p 11235:11235 unclecode/crawl4ai:gpu-arm64

如需增加内存分配，可添加--shm-size参数：

docker run --shm-size=2gb -p 11235:11235 unclecode/crawl4ai:basic-amd64

健康检查命令：

curl http://localhost:11235/health

2.3 从源代码构建镜像

对于需要自定义构建的用户，历史版本支持从源代码构建Docker镜像：

# 克隆仓库
git clone https://gitcode.com/GitHub_Trending/craw/crawl4ai
cd crawl4ai

# 对于AMD64平台（常规Linux/Windows）
docker build --platform linux/amd64 \
  --tag crawl4ai:local \
  --build-arg INSTALL_TYPE=basic \
  .

# 对于ARM64平台（M1/M2 Macs、ARM服务器）
docker build --platform linux/arm64 \
  --tag crawl4ai:local \
  --build-arg INSTALL_TYPE=basic \
  .

构建选项：

• INSTALL_TYPE=basic（默认）：基础爬取功能
• INSTALL_TYPE=all：完整ML/LLM支持
• ENABLE_GPU=true：添加GPU支持

完整构建示例：

docker build --platform linux/amd64 \
  --tag crawl4ai:local \
  --build-arg INSTALL_TYPE=all \
  --build-arg ENABLE_GPU=true \
  .

运行本地构建的镜像：

# 常规运行
docker run -p 11235:11235 crawl4ai:local

# 增加共享内存
docker run --shm-size=2gb -p 11235:11235 crawl4ai:local

2.4 使用Docker Compose部署

Docker Compose提供了更结构化的方式来运行Crawl4AI，特别是在处理环境变量和多配置时：

# 克隆仓库
git clone https://gitcode.com/GitHub_Trending/craw/crawl4ai
cd crawl4ai

AMD64平台（常规Linux/Windows）

# 本地构建并运行
docker-compose --profile local-amd64 up

# 从镜像仓库运行
VERSION=basic docker-compose --profile hub-amd64 up   # 基础版本
VERSION=all docker-compose --profile hub-amd64 up     # 完整ML/LLM支持
VERSION=gpu docker-compose --profile hub-amd64 up     # GPU支持

ARM64平台（M1/M2 Macs、ARM服务器）

# 本地构建并运行
docker-compose --profile local-arm64 up

# 从镜像仓库运行
VERSION=basic docker-compose --profile hub-arm64 up   # 基础版本
VERSION=all docker-compose --profile hub-arm64 up     # 完整ML/LLM支持
VERSION=gpu docker-compose --profile hub-arm64 up     # GPU支持

环境变量配置（可选）：

# 创建.env文件
CRAWL4AI_API_TOKEN=your_token
OPENAI_API_KEY=your_openai_key
CLAUDE_API_KEY=your_claude_key

3. 迁移指南

3.1 新部署架构概述

原有的Docker部署方案已被整合到新的部署架构中，相关代码结构已迁移至：deploy/docker/

新架构提供了更灵活的部署选项和更好的可维护性，主要变化包括：

• 改进的API接口：deploy/docker/api.py
• 增强的认证机制：deploy/docker/auth.py
• 优化的配置管理：deploy/docker/config.yml
• 更高效的爬虫池管理：deploy/docker/crawler_pool.py

3.2 迁移步骤

1. 停止旧版本容器

   # 停止并删除旧容器
   docker stop crawl4ai-container
   docker rm crawl4ai-container
   

2. 备份配置数据 如有自定义配置，请备份相关文件，特别是环境变量和配置文件。

3. 获取最新代码

   git pull origin main
   

4. 使用新部署方案 参考新的部署文档进行部署，主要文件包括：

   • 部署说明：deploy/docker/README.md
   • 服务启动文件：deploy/docker/server.py
   • 部署配置：docker-compose.yml

4. 遗留文件参考

以下是与历史Docker部署相关的主要文件路径，供需要参考历史实现的用户查阅：

• 废弃的Docker部署文档：docs/deprecated/docker-deployment.md
• Docker配置文件：docker-compose.yml
• Docker构建文件：Dockerfile
• 部署脚本目录：deploy/
• 旧版爬虫实现：crawl4ai/legacy/

【免费下载链接】crawl4ai 🔥🕷️ Crawl4AI: Open-source LLM Friendly Web Crawler & Scrapper 项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai