超简单的Ollama集成 DeepSeek 本地化安装教程

Ollama是一个基于Go语言的本地大语言模型运行框架，可以集成如DeepSeek等AI大模型。Ollama支持 Windows、macOS、Linux等操作系统

以下是Ollama集成DeepSeek的详细安装教程：

一、准备工作

1. 硬件要求：

   • 配备NVIDIA显卡的电脑（显存≥8GB）。
   • 建议预留足够的磁盘空间（如20GB）。

二、安装Ollama

1. 下载安装包：

   • 访问Ollama官网。
   • 点击“Download”按钮，选择适合操作系统的版本（如Windows）。

2. 安装Ollama：

   • 双击安装包并按照提示进行安装。
   • 保持默认选项，直到出现“Installation complete”提示即表示安装成功。

3. 验证安装：

   • 打开“终端”或“命令提示符”（在Windows中可以通过Win键+R，然后输入“cmd”打开）。
   • 输入ollama --version，此时应显示类似“ollama version 0.x.x”的版本号。

三、配置Ollama环境变量（可选）

1. 修改默认存储路径：

   • 如果希望将Ollama的模型存储到其他盘符（如D盘），可以修改环境变量。
   • 在“系统属性”中的“环境变量”设置窗口，添加变量名OLLAMA_MODELS，变量值设置为目标路径（如D:\ollama）。

2. 为HTTP开放访问权限：

   • 新建变量，变量名OLLAMA_ORIGINS，变量值设置为*（星号）。
   • 继续新建变量，变量名OLLAMA_HOST，变量值设置为0.0.0.0:11434。

3. 配置防火墙：

   • 打开“Windows Defender防火墙”，点击“入站规则”。
   • 点击“新建规则”，选择“端口”，然后选择TCP，在特定本地端口后面填入11434（Ollama的默认端口）。
   • 选择“允许链接”，并勾选“域”、“专用”和“公用”前的对勾。
   • 完成规则创建后，重启电脑使配置生效。

四、安装DeepSeek模型

1. 获取模型文件：

   • 在Ollama官网的Models页面，找到DeepSeek-R1模型，并选择适合的版本（如1.5b、7b、8b等）。
   • 根据电脑配置选择模型大小，较大的模型需要更高的内存和显卡配置。

   • 比如选择模型版本
     DeepSeek 提供了多个版本，参数越大，对硬件要求越高。以下是常见版本及其硬件需求：

     DeepSeek-R1-1.5b：NVIDIA RTX 3060 12GB 或更高。

     DeepSeek-R1-32b：NVIDIA RTX 4090 24GB。

     DeepSeek-R1-671b：NVIDIA A100 80GB *16（企业级硬件）。

2. 执行安装命令：

   • 打开“命令提示符”，输入对应的安装命令（如ollama run deepseek-r1:1.5b）来下载并安装所选的DeepSeek模型。
   • 安装完成后，会有“success”成功提示。

五、使用Chatbox进行可视化交互（可选）

1. 下载安装Chatbox：

   • 访问Chatbox的官网（如chatboxai.app）并下载安装包。
   • 在安装过程中，选择“所有用户”以确保所有用户都可以访问Chatbox。

2. 配置Chatbox：

   • 启动Chatbox后，点击“使用自己的API Key或本地模型”。
   • 点击“重置”并选择DeepSeek模型（如果模型列表为空，请检查Ollama的环境变量设置和防火墙配置）。
   • 保存设置后，即可看到一个类似聊天窗口的界面，可以直接与DeepSeek模型进行对话。

六、优化与配置

1. 量化加速：

   • 在配置文件中添加量化参数（如QUANTIZATION q4_0）以降低显存需求。

2. 多GPU分配：

   • 在启动时指定显卡（如OLLAMA_NUM_GPU=2 ollama run deepseek-r1）以使用多块GPU进行加速。

3. 常见问题诊断：

   • 如果遇到生成速度慢的问题，可以检查显存占用情况并调整量化等级。
   • 如果中文输出乱码，可以在WebUI的设置中将默认语言设置为中文。

通过以上步骤，您就可以成功地在电脑上安装并配置Ollama和DeepSeek模型，并使用Chatbox进行可视化交互了。