使用ollama本地部署Deepseek r1

1、下载ollama

在浏览器地址输入:https://ollama.com/
在这里插入图片描述

选择windows版本的下载
在这里插入图片描述

2、安装ollama

在这里插入图片描述

3、运行ollama

安装完成后,打开命令行工具win +r
在命令行输入:ollama
在这里插入图片描述

4、使用ollama下载并部署Deepseed r1

在ollama网站,下载DeepSeek-R1模型
在这里插入图片描述
根据本地机器大小选择合适的版本,点击复制按钮
在这里插入图片描述
打开命令行工具win +r,输入ollama run deepseek-r1:7b
在这里插入图片描述
等待下载完成安装完成后。
在这里插入图片描述
输入问题,回车
在这里插入图片描述
表明安装成功。

ollama常用参数

Ollama安装完成之后,有几个常用的系统环境变量参数建议进行设置:

OLLAMA_MODELS:模型文件存放目录,默认目录为当前用户目录(Windows 目录:C:\Users%username%.ollama\models,MacOS 目录:~/.ollama/models,Linux 目录:/usr/share/ollama/.ollama/models),如果是 Windows 系统建议修改(如:D:\OllamaModels),避免 C 盘空间吃紧
OLLAMA_HOST:Ollama 服务监听的网络地址,默认为127.0.0.1,如果允许其他电脑访问 Ollama(如:局域网中的其他电脑),建议设置成0.0.0.0,从而允许其他网络访问
OLLAMA_PORT:Ollama 服务监听的默认端口,默认为11434,如果端口有冲突,可以修改设置成其他端口(如:8080等)
OLLAMA_ORIGINS:HTTP 客户端请求来源,半角逗号分隔列表,若本地使用无严格要求,可以设置成星号,代表不受限制
OLLAMA_KEEP_ALIVE:大模型加载到内存中后的存活时间,默认为5m即 5 分钟(如:纯数字如 300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活);我们可设置成24h,即模型在内存中保持 24 小时,提高访问速度
OLLAMA_NUM_PARALLEL:请求处理并发数量,默认为1,即单并发串行处理请求,可根据实际情况进行调整
OLLAMA_MAX_QUEUE:请求队列长度,默认值为512,可以根据情况设置,超过队列长度请求被抛弃
OLLAMA_DEBUG:输出 Debug 日志标识,应用研发阶段可以设置成1,即输出详细日志信息,便于排查问题
OLLAMA_MAX_LOADED_MODELS:最多同时加载到内存中模型的数量,默认为1,即只能有 1 个模型在内存中

修改 OLLAMA_MODELS参数

Linux/macOS

  • 临时设置(仅当前终端生效)
复制
export OLLAMA_MODELS="/path/to/your/custom/models"
ollama run llama2  # 测试是否生效
  • 永久设置
    打开 Shell 配置文件(如 /.bashrc、/.zshrc 或 ~/.profile)。
    添加以下行:
export OLLAMA_MODELS="/path/to/your/custom/models"
保存文件并重启终端,或运行 source ~/.bashrc(根据实际配置文件调整)。

Windows

  • 临时设置(仅当前命令行生效)
    cmd
setx OLLAMA_MODELS "D:\your\custom\models"

关闭当前命令行窗口,重新打开新的窗口生效。

  • 永久设置
    打开系统环境变量设置:
    右键“此电脑” → 属性 → 高级系统设置 → 环境变量。
    在“用户变量”或“系统变量”中,点击“新建”:
    变量名:OLLAMA_MODELS
    变量值:D:\your\custom\models
    重启所有 Ollama 相关进程或重启计算机。

Docker 运行 Ollama

若通过 Docker 使用 Ollama,在启动容器时指定环境变量:

docker run -d \
  -e OLLAMA_MODELS="/path/in/container" \
  -v /host/custom/path:/path/in/container \
  -p 11434:11434 \
  ollama/ollama

注意事项

  • 路径权限:确保自定义路径有读写权限。
  • 迁移已有模型:若已下载模型,需手动将原目录(默认 ~/.ollama/models)内容复制到新路径。
  • 重启服务:修改后重启 Ollama 服务:
ollama serve  # 如果直接运行服务

完成后,新下载的模型会存储到指定路径。

### 部署 DeepSeek R1 模型 #### 环境准备 为了成功部署 DeepSeek R1 模型,硬件和软件环境需满足特定条件。 对于硬件方面: - **GPU 显存要求**:根据模型大小不同,所需显存量也有所差异。7B 模型至少需要 8-12GB 的显存;14B 和 32B 模型则分别推荐拥有超过 12GB 及建议大于等于 16GB 的显存[^3]。 - 推荐使用 NVIDIA 显卡,并确保有足够的 SSD 空间来存储模型文件,通常建议预留 50GB 或更多磁盘空间。 关于软件需求: - 安装最新的 NVIDIA 驱动程序以支持所选 GPU 设备。 - CUDA 工具包应被安装至版本 11.7 或更新版本以便于加速计算性能。 - 下载并完成 Ollama 平台的设置过程,这是用于管理和运行 DeepSeek R1 所必需的基础架构组件之一。 #### 步骤指南 ##### 安装 Ollama 访问官方网址获取最新版 Ollama 应用程序,并按照提示完成其在 Windows 上的安装流程[^1]。 ##### 获取与加载 DeepSeek R1 一旦 Ollama 成功安装完毕,则可通过该平台直接下载所需的 DeepSeek R1 版本。这一步骤简化了传统方法中的复杂操作,使得即使是初次接触此类技术的新手也能顺利完成整个过程。 ```bash ollama install deepseek-r1 ``` 上述命令会自动处理所有必要的依赖关系以及配置工作,使用户能够专注于后续的应用开发而非底层细节管理。 ##### 使用 Python 进行 API 调用 为了让开发者更容易集成此功能到现有项目当中,提供了简单易用的 RESTful API 接口供外部应用程序调用。下面给出了一段利用 `requests` 库发起请求的例子代码片段: ```python import requests url = "http://localhost:8080/v1/models/deepseek-r1:predict" data = {"prompt": "你好"} response = requests.post(url, json=data) print(response.json()) ``` 这段脚本向本地主机上的指定端口发送 POST 请求,其中包含了待预测文本作为输入参数。返回的结果将以 JSON 格式呈现给客户端应用进一步解析处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值