电脑本地部署deepseek教程

最新推荐文章于 2025-04-15 23:29:01 发布

原创

最新推荐文章于 2025-04-15 23:29:01 发布 · 787 阅读

17 ·

CC 4.0 BY-SA版权

Ollama 简介

Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。

官网：ollama.com/

GitHub 地址：github.com/ollama/olla…

Ollama 安装

下载安装 Ollama

在 Ollama 官网根据操作系统类型选择对应的安装包，这里选择 macOS 下载安装。 Ollama下载安装完在终端输入 ollama，可以看到 ollama 支持的命令。

bash

 代码解读
复制代码Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

查看 ollama 版本

bash

 代码解读
复制代码ollama -v
ollama version is 0.1.31

查看已下载模型

bash

 代码解读
复制代码ollama list

NAME    	ID          	SIZE  	MODIFIED    
gemma:2b	b50d6c999e59	1.7 GB	3 hours ago

我本地已经有一个大模型，接下来我们看一下怎么下载大模型。

下载大模型

下载模型

安装完后默认提示安装 llama2 大模型，下面是 Ollama 支持的部分模型

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	`ollama run llama3`
Llama 3	70B	40GB	`ollama run llama3:70b`
Mistral	7B	4.1GB	`ollama run mistral`
Dolphin Phi	2.7B	1.6GB	`ollama run dolphin-phi`
Phi-2	2.7B	1.7GB	`ollama run phi`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB