大模型本地部署

⼀、安装ollama

ollma是⼀个⼤模型管理⼯具，使⽤ollama可以⾮常⽅法的下载⼤模型到本地，以及管理⼤模型（运
⾏、关闭、删除等）。
访问ollama官⽹ https://ollama.com/
点击下载，选择对应平台的安装包，下载后直接安装即可。

⼆、ollama关闭开机启动

Ollama 默认会随 Windows ⾃动启动，可以在「⽂件资源管理器」的地址栏中访问以下路径，删除其
中的Ollama.lnk快捷⽅式⽂件，阻⽌它⾃动启动。这样在需要的时候，⼿动启动即可。

%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup

三、配置环境变量

1. 配置ollama启动程序到path环境变量

在开始菜单中，找到ollama快捷⽅式，找到ollama.exe所在⽬录，复制该⽬录
配置到系统的环境变量中

2. 配置模型下载⽬录

Ollama 的默认模型存储路径如下：C:\Users{⽤⼾名}.ollama\models，⽆论 C 盘空间⼤⼩，需要安
装多少模型，都建议换⼀个存放路径到其它盘，否则会影响电脑运⾏速度。
打开「系统环境变量」，新建⼀个系统变量OLLAMA_MODELS ，然后设置ollama模型的存储路径。
变量名： OLLAMA_MODELS
变量值： D:\Work\ollama\models （替换成你⾃⼰的⽬录）

3. 启动ollama

在开始菜单-所有程序中，点击启动ollama。也可以通过在命令⾏中，执⾏ ollama serve 命令启
动

4. cmd中检查ollama是否正常安装

打开 “命令提⽰符”，输⼊ ollama -v ，如果显⽰版本号，代表安装配置ollama成功

5.下载⼤模型到本地

先查看ollama⽀持的⼤模型：https://ollama.com/library
选择适合⾃⼰电脑的模型版本，7b、8b代表模型参数的多少，版本越⾼，模型越智能，同时占⽤资源
也越多。

PS：很吃内存，启动后电脑风扇会起飞，一定要配置高，我的是32G+1T

在“命令提⽰符”窗⼝中，执⾏命令：

ollama run deepseek-r1:7b

启动成功后，就可以在命令提⽰符窗⼝和deepseek进⾏交互了。

四、安装ollama web客⼾端open-webui

1. 安装Python（Python版本不能超过3.11）

打开Python官⽹，选择对应的操作系统平台，下载安装包
Windows版本：https://www.python.org/downloads/windows/
Mac版本：https://www.python.org/downloads/macos/

在cmd窗⼝中，验证Python版本：python -V

2. 配置pip下载源

在cmd窗⼝中执⾏命令

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

3. 下载open-webui

在cmd窗⼝中执⾏命令

pip install open-webui

这里我遇到个坑，最后换源搞定的，解决方案见：解决路径

4. 升级open-webui

在cmd窗⼝中执⾏命令

pip install open-webui --upgrade

5. 启动open-webui

在cmd窗⼝中执⾏命令

open-webui serve

6. 访问open-webui

执⾏完上⼀步命令后，等待1分钟左右
浏览器访问 http://127.0.0.1:8080
创建管理员账号，左上⻆选择对应模型，即可开始使⽤

PS：如果一天部署完不成，在启动open-webui前一定要启动ollama

展示