本地部署大模型

本地部署大模型

ollama介绍

Ollama的作用

Ollama是一个轻量级的大型语言模型（LLM）软件引擎，用于快速部署和运行大型语言模型。它负责模型的加载和服务器端的推理，确保模型能够快速响应请求。

本地部署DeepSeek时需要Ollama的原因

在本地部署DeepSeek时，需要安装和配置Ollama，因为它负责以下任务：
‌模型文件的解析和加载‌：Ollama负责解析和加载DeepSeek所需的模型文件。
‌本地服务器端的推理逻辑‌：Ollama处理服务器端的推理逻辑，确保模型能够快速响应请求。

ollama安装

前提：需要外网哦

1、下载OllamaSetup

地址：https://ollama.com/

2、双击安装

点击install，等待安装

3、验证是否安装成功

安装完之后，打开cmd窗口，验证是否安装成功

ollama -v

4、下载模型

下载deepseek的1.5b的大模型，太大的本地跑不了

ollama pull deepseek-r1:1.5b

5、运行模型模型

下载完之后可以运行deepseek模型

ollama run deepseek-r1:1.5b

可以问他问题