Ollama Docker Compose 安装与配置指南

Ollama Docker Compose 安装与配置指南

ollama-docker Welcome to the Ollama Docker Compose Setup! This project simplifies the deployment of Ollama using Docker Compose, making it easy to run Ollama with all its dependencies in a containerized environment 项目地址: https://gitcode.com/gh_mirrors/ol/ollama-docker

1. 项目基础介绍

Ollama Docker Compose Setup 是一个开源项目，旨在简化 Ollama 的部署流程，通过使用 Docker Compose，用户可以在容器化的环境中轻松运行 Ollama 及其所有依赖项。Ollama 是一个自然语言处理工具，可以用于创建聊天机器人、文本生成等应用。本项目主要使用 Python 编程语言，并结合 Docker 技术实现。

2. 项目使用的关键技术和框架

本项目主要使用以下技术和框架：

• Docker: 一个开源的应用容器引擎，可以打包、发布和运行应用。
• Docker Compose: 一个用于定义和运行多容器 Docker 应用程序的工具。
• Python: 一种广泛使用的高级编程语言，适用于 Web 开发、科学计算等多种应用。
• NVIDIA Container Toolkit (可选): 如果您有 GPU 并希望在 Docker 容器中利用其性能，需要使用此工具包。

3. 项目安装和配置的准备工作及详细步骤

准备工作

在开始安装之前，请确保您的机器上已经安装以下软件：

• Docker：确保您能够运行 docker 和 docker compose 命令。
• GPU 支持（可选）：如果您希望在 Docker 容器中使用 GPU，需要安装 NVIDIA Container Toolkit。

安装步骤

1. 克隆仓库

   使用 Git 命令克隆本项目仓库：

   git clone https://github.com/mythrantic/ollama-docker.git
   

2. 切换到项目目录

   进入克隆后的项目目录：

   cd ollama-docker
   

3. 安装 NVIDIA Container Toolkit（可选）

   如果您有 GPU 并想要在容器中使用，请按照以下步骤安装 NVIDIA Container Toolkit：

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey |
   sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && \
   curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list |
   sed '
   s#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g
   ' |
   sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list && \
   sudo apt-get update && \
   sudo apt-get install -y nvidia-container-toolkit
   
   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker
   
   docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi
   

4. 启动 Ollama

   根据是否配置了 GPU，使用以下命令启动 Ollama：

   • 如果配置了 GPU：

     docker compose -f docker-compose-ollama-gpu.yaml up -d
     

   • 如果没有配置 GPU：

     docker compose up -d
     

5. 访问 Ollama

   在浏览器中访问 http://localhost:8080，即可看到 Ollama 的 Web 界面。

6. 安装模型

   在 Ollama 的设置中，导航到模型安装页面，安装一个模型（例如 llava-phi3）。安装过程可能需要几分钟，但安装完成后，您就可以像使用 ChatGPT 一样使用它了。

按照上述步骤，您应该能够成功安装和配置 Ollama Docker Compose 项目。祝您使用愉快！

ollama-docker Welcome to the Ollama Docker Compose Setup! This project simplifies the deployment of Ollama using Docker Compose, making it easy to run Ollama with all its dependencies in a containerized environment 项目地址: https://gitcode.com/gh_mirrors/ol/ollama-docker