本地部署LLM（Ollama和Open-WebUI）

原创

已于 2024-08-01 08:12:28 修改 · 5.2k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2024-07-31 09:56:15 首次发布

LLM（大语言模型）因为对设备的性能要求比较高，一般是部署在云端，通过网络远程访问。那么想在本地部署（玩一玩）能不能做到呢？
Ollama就是实现这个目的的工具。

Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。

Ollama提供了一个简单直观的界面，用于加载、运行和评估LLM。它还支持各种自定义选项，允许用户根据特定需求定制LLM。

Ollama支持的大模型：

Llama 3：迄今为止功能最强大的公开可用的大型语言模型。
Llama 2：由 Meta Platforms 公司发布的 Llama 2 是一款大型语言模型，使用 2 万亿个文本片段进行训练。其默认支持 4096 个字符的上下文长度。Llama 2 聊天模型经过超过一百万条人工标注的微调，专用于聊天对话场景。
Mistral：Mistral 7B 是一款由 Mistral AI 公司推出的参数规模为 73 亿的开源大型语言模型，在多项基准测试中展现了优异的性能，能够在常识推理、世界知识、阅读理解、数学、编码等多个领域与其他大型模型相媲美甚至超越，并具有快速推理、低成本处理长序列等特点。
Gemma：Gemma 是由 Google DeepMind 构建的一系列轻量级、最先进的开源模型。

完整的Ollama支持的大模型列表请查看：https://ollama.com/library

Ollama不仅支持上述列出的模型，还支持用户自定义模型。用户可以将训练好的模型打包成Ollama支持的格式，然后在Ollama中加载运行。

Ollama支持MacOS、Linux和Windows系统。本文在Windows11环境下安装。

进入Ollama官网：https://ollama.com/，下载.exe安装器
默认安装位置为：C:\Users\user_name\AppData\Local\Programs\Ollama\
默认安装的模型目录：C:\Users\user_name\.ollama
默认的配置文件目录：C:\Users\user_name\AppData\Local\Ollama

安装ollama时候已经向系统环境变量配置地址，因此使用ollama命令可以看到常用命令（见上图）
配置Ollama的模型路径
由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：

Path变量加入：
拉取大模型，打开官网可以看到从ollama可以直接拉取的大模型：

以下载llama3模型为例：llama3目前主要有8B和70B两个模型，分别代表80亿和700亿个训练参数。

Github的ollama仓库有详细安装指导：