免费deepseek-r1满血版部署:百度千帆大模型平台+Dify添加相应的模型供应商


前言

这两天头条全是deepseek的消息,其实我们一上班也开始搞这个了。不管怎么说,本地部署一番总是少不了的。

思路基本上就是:

  • 英伟达GPU版本下,ollama部署蒸馏版,这个还蛮简单的,咱就不说了。
    不过推理速度好像挺慢的
  • 英伟达GPU版本下,ollama部署满血量化版。
    网上有教程,但确实还是没成功,光下载权重下载了好几天
  • 昇腾NPU下,部署蒸馏版或者满血版。没实现呢。
    看到有人说昇腾部署满血版,需要四台机器,32张卡,不知道真的假的
  • 云服务部署满血版。

本来想赶紧实现了,写出来,蹭一番热度,奈何多线开工,一个都没整出来。

咱今天,就先拿百度千帆大模型平台这个最简单的开开刀吧。

开始体验

在这里插入图片描述
百度搜索千帆,点击查看详情。

### 部署方案概述 在 CentOS 7 上部署 DeepSeek-R1 模型并集成 Dify 知识库的过程可以分为以下几个部分:准备操作系统环境、安装 Docker 和 Docker Compose、通过 Ollama 下载和运行 DeepSeek 模型、配置 Dify 并连接到模型服务。以下是详细的说明。 --- #### 一、操作系统的准备工作 CentOS 7 是一个较为稳定的 Linux 发行,但在某些方面可能不如较新的发行(如 Rocky Linux 或 Ubuntu)。需要注意的是: - **软件包支持**:CentOS 7 的默认仓库中可能存在过旧的软件本,因此需要手动启用 EPEL (Extra Packages for Enterprise Linux) 来获取更多更新的工具和支持[^1]。 - **依赖项兼容性**:Rocky Linux 9.5 被用于初始部署案例,其内核和基础库更接近现代标准。而 CentOS 7 使用较老的基础架构,可能会遇到一些兼容性问题,特别是在处理最新容器技术时。 ```bash sudo yum install epel-release -y sudo yum update -y ``` --- #### 二、Docker 及 Docker Compose 安装 为了确保一致性,建议使用与引用中的相同本号来减少潜在冲突风险。对于 CentOS 7: 1. 添加官方 Docker CE 存储库: ```bash sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo ``` 2. 安装 Docker Engine: ```bash sudo yum install docker-ce docker-ce-cli containerd.io -y ``` 3. 启动并设置开机自启: ```bash sudo systemctl start docker && sudo systemctl enable docker ``` 4. 关于 `docker-compose` 本的选择,推荐采用 v2.x 系列以匹配最新的功能需求[^2]: ```bash sudo curl -SL https://github.com/docker/compose/releases/download/v2.33.1/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` 验证安装成功与否可以通过命令测试: ```bash docker --version docker-compose --version ``` --- #### 三、Ollama 中加载 DeepSeek 模型 利用 Ollama 提供的服务接口简化大型语言模型管理流程。具体步骤如下所示: 1. 创建一个新的目录作为工作区,并切换至该路径下执行后续指令; 2. 初始化项目结构文件夹树形图示意如下: ``` project/ ├── ollama_config.json └── models/ └── deepseek_r1_7b/ ``` 3. 运行以下脚本来完成镜像拉取任务: ```bash mkdir -p ./models/deepseek_r1_7b cd ./models/deepseek_r1_7b # 替代方法调用硅基流动API实现无缝衔接过程描述见参考资料[^3] ollama pull deepseek-r1:7b ``` 注意这里强调了如果直接尝试访问官网提供的 RESTful 接口存在不稳定因素,则需考虑间接途径解决此难题。 --- #### 四、Dify 环境搭建及其关联设定 最后一步就是把前面所构建好的组件串联起来形成完整的解决方案框架——即引入 Dify 应用来统一管理和调度各个子模块之间的交互逻辑关系。 初始化数据库表单定义语句片段举例展示如下形式书写方式遵循 SQL 标准语法习惯即可满足基本要求条件限制范围之内合理调整参数数值大小适应实际应用场景特点差异情况作出相应修改优化改进措施提升整体性能表现水平达到预期目标效果最佳状态呈现出来供大家参考学习借鉴经验积累共同进步成长发展下去不断探索未知领域开拓创新思路方向引领未来趋势走向更加辉煌灿烂明天迎接挑战克服困难勇往直前无惧风雨一路向前迈进! ```sql CREATE TABLE IF NOT EXISTS knowledge_base ( id INT AUTO_INCREMENT PRIMARY KEY, content TEXT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` 随后按照文档指引完成必要的字段映射规则制定以及索引创建等工作环节之后便能够顺利启动应用程序进入正常运转模式当中去了呢😊 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

几道之旅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值