Docker基于Ollama本地部署大语言模型

一、Ollama介绍

Ollama 是一个开源的大型语言模型（LLM）平台，旨在简化大型语言模型在本地环境中的运行、管理和交互。通过Ollama，用户可以轻松加载和使用各种预训练的语言模型，执行诸如文本生成、翻译、代码编写、问答等多种自然语言处理任务。本文将详细介绍如何使用Ollama和Docker在本地部署大型语言模型。

二、Ollama安装

2.1、拉取镜像

我们将使用Docker容器来安装Ollama。首先，从华为云的镜像仓库拉取Ollama镜像：

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama:rocm

2.2、运行容器

接下来，运行我们刚刚拉取的镜像，并将容器的11434端口映射到主机的11434端口。为了简化操作，这里不进行磁盘卷挂载。

docker run -d -p 11434:11434 --name ollama swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama

运行成功后，可以通过访问localhost:11434来确认Ollama是否成功运行。

三、模型部署

我们可以使用Ollama指令直接下载并运行大型语言模型。这里，我们将演示如何使用GGUF文件加载阿里开源的Qwen2模型。

首先，从以下地址下载Qwen2模型：