【大模型】Ubuntu下安装ollama,DeepSseek-R1:32b的本地部署和运行

1 ollama 的安装与设置

ollama官网链接:https://ollama.com/

  • 在左上角的【Models】中展示了ollama支持的模型
  • 在正中间的【Download】中课可以下载支持平台中的安装包。
    在这里插入图片描述

其安装和模型路径配置操作流程如下:

  1. ollama的安装
    这里选择命令安装
    curl -fsSL https://ollama.com/install.sh | sh
    
    正确安装后,查看安装的ollama版本
    ollama --version
    
  2. 启动ollama服务
    ollama serve
    
    若报端口被占用,则查看端口的使用情况
    sudo lsof -i :11434
    
  3. 下载模型默认路径的修改(可选,推荐)
    正常来说,就可以下载和运行模型了。但大模型一般来说比较大,最好将模型下载默认路径设置在挂载的数据盘上。默认情况下,ollama模型的存储目录为 /usr/share/ollama/.ollama/models
    修改默认路径的操作如下:
    • 创建路径并修改权限
      # 这里设置路径为 /opt/ai-platform/lldataset/ollama/
      sudo mkdir /opt/ai-platform/lldataset/ollama/
      sudo chmod -R 777 /opt/ai-platform/lldataset/ollama/
      
    • 停止服务并修改配置文件
      sudo systemctl stop ollama
      sudo nano /etc/systemd/system/ollama.service
      
      打开文件后,添加内容
      Environment="OLLAMA_MODELS=/opt/ai-platform/lldataset/ollama/"
      Environment="OLLAMA_HOST=0.0.0.0:11434"
      
      # 按下 Ctrl + O 保存文件。
      # 按下 Enter 确认保存。
      # 按下 Ctrl + X 退出编辑器。
      
    • 启动ollama并查看其状态
      sudo systemctl daemon-reload
      sudo systemctl restart ollama.service
      
      sudo systemctl status ollama.service
      
      若正确启动则如下图在这里插入图片描述

2 ollama运行大模型

ollama下载和运行大模型跟简单,即ollama run <模型名称>。若未下载,则先下载再运行;若已下载,则试接运行。
实际使用中,需要根据自己设备资源支持,去下载某个大模型的某个版本。以deepseek-r1为例,具体操作为:

  1. 搜索栏中搜索【deepseek-r1】
    在这里插入图片描述
  2. 根据自己服务器的显存大小,选择合适的模型版本。复制命令
    ollama run deepseek-r1:32b
    
    在这里插入图片描述
    拉取成功后即可进行问答。从deepseek回答的think中,能看出它是个讨好型的大模型…
    在这里插入图片描述
    在这里插入图片描述

3 交互界面 ChatBox

服务器上部署好了deepseek,然后在同局域网下的本机,可安装windows版本的chatbox,进行界面中的问答。chatbox的下载链接 https://chatboxai.app/zh。下载windows平台下的应用,双击安装。

  1. 左下角的【设置】
  2. 【模型提供方】选择【OLLAMA API】。
  3. 【模型】中会出现服务器中ollama已经拉取的模型列表。选择想要使用的模型。
  4. 点击【保存】
  5. 点击左下角的【新对话】,然后就可以进行大模型问答
    在这里插入图片描述
    在这里插入图片描述

4 DeepSeek-R1-Distill-Qwen-32B的简单介绍

DeepSeek R1

  • 是一款拥有 6710 亿参数的大型混合专家(MoE)模型。通过强化学习(RL)和监督微调(SFT)相结合的方式训练,DeepSeek R1 的推理能力得到了显著提升。

DeepSeek-R1-Distill-Qwen-32B
通过将 DeepSeek R1 的推理模式蒸馏到更小的模型中,实现了更高效的性能。 在该模型中

  • DeepSeek 和 Qwen 的关系是基于知识蒸馏的师生关系:

    • DeepSeek-R1 是教师模型:它是一个经过大规模强化学习训练的强大推理模型,具有复杂的结构和庞大的参数量。DeepSeek-R1 在数学、编程、逻辑推理等任务上表现出色,能够生成高质量的预测结果。
    • Qwen-32B 是学生模型:它是一个参数量较小的模型,通过学习 DeepSeek-R1 的输出来提升自己的推理能力。在蒸馏过程中,DeepSeek-R1 生成的推理轨迹和预测结果被用作“教学材料”,Qwen-32B 通过模仿这些输出来学习。
  • 蒸馏过程

    • 数据生成:DeepSeek-R1 生成了 800K 条高质量的推理数据,这些数据包括数学、编程、逻辑推理等任务。这些数据被用作蒸馏过程中的“教学材料”。
    • 训练过程:Qwen-32B 作为学生模型,输入这些数据并尝试生成与 DeepSeek-R1 相似的推理轨迹和预测结果。通过监督微调(SFT),Qwen-32B 的参数不断优化,使其输出逐渐逼近 DeepSeek-R1。
    • 性能提升:经过蒸馏的 Qwen-32B 在多个基准测试中表现出色,例如在 AIME 2024 上得分 72.6%,在 MATH-500 上得分 94.3%,在 LiveCodeBench 上得分 57.2%。这些结果显著优于直接在 Qwen-32B 上进行强化学习的结果。

通过这种知识蒸馏的方式,DeepSeek-R1 的推理能力被高效地迁移到了 Qwen-32B 中,使得 Qwen-32B 在推理任务上能够达到与 DeepSeek-R1 相当的性能。

### 配置 Windows 环境变量并运行 `ollama deepseek-r1:32b` 命令 为了确保能够在命令行中成功执行 `ollama deepseek-r1:32b` 命令,需要按照以下方法配置 Windows 环境变量。 #### 设置环境变量 在 Windows 中设置环境变量的具体操作如下: 1. 打开“此电脑”或“我的电脑”,右键单击选择“属性” 2. 进入“高级系统设置” 3. 在弹出窗口中的“高级”选项卡下点击“环境变量” 在此界面中,可以创建新的环境变量。对于 OLLAMA_MODELS 变量的设定应遵循特定指导[^1]。具体来说,在“新建环境变量”的对话框里输入变量名为 `OLLAMA_MODELS` ,而变量值则设为模型文件夹的实际路径,例如 `C:\path\to\model_folder` 。 #### 使用命令提示符验证配置 完成上述配置之后,可以通过打开一个新的命令提示符来检验新添加的环境变量是否生效。这一步骤非常重要,因为只有当环境变量被正确识别时,才能顺利调用相关命令。 ```cmd echo %OLLAMA_MODELS% ``` 如果返回的是之前所指定的路径,则说明环境变量已经成功设置;反之如果没有显示预期的结果或者报错,则可能意味着环境变量未被正确定义或应用。 #### 正确运行 `ollama deepseek-r1:32b` 假设一切正常,现在可以在命令行工具(如 CMD 或 PowerShell)里面尝试运行目标命令: ```bash ollama deepseek-r1:32b ``` 在此之前,请确认该命令对应的可执行文件位于系统的 PATH 路径之中,或者是当前工作目录内存在相应的脚本/程序入口点。如果不是这样,还需要进一步调整 PATH 环境变量以便能够全局访问这个命令。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值