通过Ollama 本地部署大模型

通过Ollama 本地部署大模型

Ollama

---

概念

Ollama 是一个开源工具，允许用户在本地运行和管理大型语言模型（LLM），支持多种开源模型，如 Llama 2、Mistral、Gemma、DeepSeek-R1 等。它简化了本地部署大模型的过程，适用于开发者和企业进行私有化 AI 部署。

网站下载安装Ollama

官网：https://ollama.com/

点击Download进入下面界面

选择所属系统，这里我是Windows，所以下载Windows版本，点击Download for Windows

下载完成后可直接点击运行安装，注意安装路径默认C盘，无法更改，需预留出C盘空间，安装完成后一般窗口栏会出行Ollama的图标，这时就安装好了Ollama

安装运行大语言模型（Large Language Model, LLM）

---

大语言模型（Large Language Model, LLM）

大语言模型（LLM）是基于海量文本数据训练的深度学习模型，能够理解、生成和推理自然语言。它们通常基于Transformer架构（如GPT、LLaMA等），并利用自监督学习（如掩码语言建模、自回归预测）进行训练。大语言模型正在重塑人机交互方式，从闭源（GPT-4）到开源（LLaMA 3、DeepSeek），从云端到本地部署（Ollama、vLLM），技术发展迅猛。未来，更高效、更智能、更低成本的LLM将成为主流。

Ollama安装运行大模型

点击Models可以查看Ollama支持的大模型

如下有多种大模型可选择

找到自己想下载的模型，我选择下载deepseek模型，模型下面的1.5b,7b,8b等是模型的大小，完整版为671b,其他为蒸馏压缩的。

点击deepseek-r1，进入deepseek模型选择，默认如下，tags为选择的模型大小，后面带复制的为ollama下载运行该模型命令

为防止电脑带不动，选择1.5b版本，点击tags前的角标可选择版本，选择后后面的命令语句会发生变化，复制该语句

1.5b的命令语句为 ollama run deepseek-r1:1.5b，打开控制面板（同时点击win+R），输入cmd

点击确定进入下面界面

输入命令语句，ollama run deepseek-r1:1.5b

点击换行符开始下载运行模型，下载过模型的会直接运行，出现Send amessages,模型即安装好，开始运行

然后就可以直接提问运行模型了