在本地运行大语言模型(LLM),Ollama是个极为出色的开源平台,它以简单、高效著称,具备良好的扩展性,能够支持运行各类主流模型。接下来,为你详细介绍如何借助Ollama部署DeepSeek R1模型。
第一步:安装Ollama
-
下载:打开浏览器,访问Ollama官网https://ollama.com ,点击“Download”进入下载页面。该平台支持Windows、macOS和Linux系统,苹果平台无论是Intel内核还是M1系列均能适配。
-
安装(以Windows平台为例):在Windows系统下,获取对应的exe应用程序后,双击启动安装程序。安装过程中,全程选择默认设置,点击“Install”后一路确认到底。安装完成后,程序会自动启动,此时在电脑右下角的托盘区域,你将看到Ollama的应用图标。
- 验证安装:安装完成后,打开命令行窗口,输入以下命令:
ollama -v
若命令执行后,显示类似“ollama version is 0.5.7”这样的版本信息,即表明Ollama已成功安装。若此前已安装过Ollama,此步骤可将其更新至最新版本,当前最新版本为0.5.7 。
第二步:加载模型
- 选择模型:Ollama软件安装完成后,便要获取DeepSeek R1模型。再次打开Ollama官网,点击“Models”,在众多模型中,“deepseek - r1”位列榜首,十分醒目。
- 模型详情与下载:点击“deepseek - r1”进入详情页面,可知该模型是DeepSeek的第一代推理模型,性能与OpenAI - o1相当。复制并在命令行中运行以下命令:
ollama run deepseek - r1
Ollama随即开始载入模型。首次运行此命令时,模型会通过网络下载,若后续再次运行,将直接从本地载入。默认下载的是7B Q4的量化版模型,其大小约为4.7G。
下载完成我们就可以用命令行进行对话了
第三步:安装ChatBox实现可视化交互
为了更便捷地与模型交互,摆脱命令窗口的限制,你可以安装ChatBox这一可视化界面工具。安装完成后,即可开启与DeepSeek R1的轻松对话之旅。
1.打开 https://chatboxai.app/zh 下载ChatBox
2.打开软件设置本地模型
查看安装的大模型的命令:
ollama list
删除大模型的命令:
ollama rm codellama:7b
好了,我们就可以自己研究本地的大模型了~