基于Docker的生成式AI应用开发指南

基于Docker的生成式AI应用开发指南

docs Source repo for Docker's Documentation 项目地址: https://gitcode.com/gh_mirrors/docs3/docs

前言

随着生成式AI技术的快速发展，越来越多的开发者希望将这项技术集成到自己的应用中。本文将详细介绍如何使用Docker容器技术来构建和开发一个基于生成式AI的PDF问答应用。通过容器化技术，我们可以轻松管理应用所需的各种服务，包括数据库和大语言模型(LLM)服务。

环境准备

在开始之前，请确保您已经完成了以下准备工作：

1. 已完成生成式AI应用的容器化配置
2. 已安装最新版本的Docker引擎或Docker Desktop
3. 系统满足基本的硬件要求（建议至少8GB内存）

核心组件架构

我们的生成式AI应用主要由以下几个核心组件构成：

1. 主应用服务：基于Python的Streamlit前端界面
2. 向量数据库：使用Neo4j存储和处理文档向量
3. 大语言模型服务：可选择本地运行的Ollama或云端OpenAI服务

数据库服务配置

为什么选择Neo4j？

Neo4j作为图数据库，特别适合存储和处理文档之间的语义关系。在生成式AI应用中，我们使用它来：

• 存储文档的向量表示
• 快速检索语义相似的文档片段
• 维护文档间的关联关系

容器化配置步骤

1. 环境变量配置：

   • 将env.example重命名为.env
   • 该文件包含数据库连接所需的用户名和密码

2. Compose文件更新： 在compose.yaml中添加Neo4j服务配置：

services:
  database:
    image: neo4j:5.11
    ports:
      - "7474:7474"  # Neo4j浏览器界面端口
      - "7687:7687"  # Bolt协议端口
    environment:
      - NEO4J_AUTH=${NEO4J_USERNAME}/${NEO4J_PASSWORD}
    healthcheck:
      test: ["CMD-SHELL", "wget --no-verbose --tries=1 --spider localhost:7474 || exit 1"]
      interval: 5s
      timeout: 3s
      retries: 5

3. 启动服务： 执行docker compose up --build启动应用

大语言模型服务选择

根据您的硬件环境和需求，可以选择以下三种LLM服务配置方案：

方案一：容器内运行Ollama（推荐Linux/Windows）

适用场景：

• 拥有NVIDIA GPU的Linux或Windows 11系统
• 需要完全容器化的解决方案

配置步骤：

1. GPU支持准备：

   • Linux：安装NVIDIA Container Toolkit
   • Windows：确保使用WSL2后端并安装最新NVIDIA驱动

2. Compose文件更新： 添加Ollama服务和模型自动下载服务：

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_volume:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
  
  ollama-pull:
    image: docker/genai:ollama-pull
    env_file:
      - .env

volumes:
  ollama_volume:

方案二：宿主机运行Ollama（推荐Mac用户）

配置要点：

1. 直接在宿主机安装并运行Ollama
2. 更新.env文件中的OLLAMA_BASE_URL为http://host.docker.internal:11434
3. 使用ollama pull llama2下载模型

方案三：使用OpenAI API

注意事项：

• 需要有效的OpenAI账号和API密钥
• 会产生使用费用
• 更新.env文件中的LLM为gpt-3.5并设置OPENAI_API_KEY

应用启动与测试

完成配置后，执行docker compose up --build启动所有服务。首次启动时：

1. Ollama-pull服务会自动下载模型（可能需要较长时间）
2. 所有服务就绪后，访问http://localhost:8000
3. 上传PDF文件（如Docker CLI速查表）进行问答测试

性能优化建议

1. GPU加速：确保正确配置NVIDIA驱动和容器工具包
2. 模型选择：根据硬件条件选择合适的模型大小
3. 缓存机制：考虑实现问答结果的缓存
4. 批处理：对大量文档处理采用批处理方式

常见问题排查

1. 服务启动失败：

   • 检查端口冲突
   • 验证环境变量设置
   • 查看容器日志docker logs <container_id>

2. 性能问题：

   • 确认GPU是否被正确识别和使用
   • 检查系统资源使用情况
   • 考虑使用更小的模型或切换到OpenAI

3. 数据库连接问题：

   • 验证Neo4j健康检查状态
   • 检查.env文件中的凭证

总结

通过本文的指导，您已经学会了如何使用Docker容器技术构建完整的生成式AI应用开发环境。这种容器化的方法带来了以下优势：

1. 环境一致性：确保开发、测试和生产环境的一致性
2. 服务隔离：各组件相互隔离，避免冲突
3. 可扩展性：易于扩展和替换各个服务组件
4. 资源管理：精确控制各服务的资源分配

后续您可以进一步探索：

• 不同LLM模型的性能比较
• 更复杂的文档处理流程
• 生产环境下的部署优化

docs Source repo for Docker's Documentation 项目地址: https://gitcode.com/gh_mirrors/docs3/docs