使用Ollama私有化部署本地大模型方案

安装Ollama

​ Ollama 是一个用于运行和管理大型语言模型的工具，它是一个轻量级服务，可在本地环境中实现对模型的使用和管理，保证了数据的隐私和安全性。

​ Ollama 支持多种大型语言模型，例如 llama、phi、mistral、gemma 等，具有较强的功能扩展性，例如支持模型的下载、删除、更新等操作，方便用户对模型进行管理。同时，它还支持与其他工具和平台的集成，如 OpenAI 兼容的 API，进一步扩展了其应用范围和功能。

下载

​ 访问 Ollama 官网，点击 “Windows” 按钮下载安装程序，然后双击安装程序进行安装。

安装完成后，打开 Windows 的命令提示符（PowerShell 等），输入 ollama -v（ollama --version） 查看安装版本。

若出现版本信息就代表ollama安装成功了。

配置

​ 打开系统环境变量配置，添加一个环境变量 OLLAMA_MODELS，将其值设置为你指定的文件夹路径（例如 D:\ollama_model），这样可以避免模型文件自动保存在 C 盘（C:\Users\用户\.ollama\models）导致 C 盘空间不足。修改后
重启终端（如PowerShell或CMD）以使更改生效。

模型安装

Ollama支持的模型列表

模型	参数	模型大小	安装
Llama 3.2	3B	2.0GB	ollama run llama3.2
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Phi-3	3.8B	2.3GB	ollama run phi3
Mistral	7B	4.1GB	ollama run mistral
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Solar	10.7B	6.1GB	ollama run solar

可以访问 Ollama 模型仓库，查看具体支持所有模型

​

如需安装llama3.2点击进入

在命令行窗口中录入指令 ollama run llama3.2安装

安装完成后，使用命令ollama list来查看已下载的模型列表。

模型运行

​ 模型的运行和安装指令一样，都是ollama run 模型名称，如果模型未安装会自动安装。

​ 使用/bye退出