DeepSeek-R1-Distill-Llama-70B + Dify （私有知识库）【鲲鹏+昇腾-国产化信创】

配置

鲲鹏 2 * 920 + 4 * Atlas 300I duo (96G)
系统openEuler 22.03-LTS ，记得先安装好合适部署dify的docker和docker compose版本
可以参考openEuler 22.03 LTS (aarch64)系统上离线安装 Docker 27.5（或指定版本）和 Docker Compose
参考文章：https://www.hiascend.com/software/modelzoo/models/detail/ee3f9897743a4341b43710f8d204733a
感谢昇腾社区，魔搭社区

部署相关环境

根据我之前文章鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
创建相关容器

下载模型权重DeepSeek-R1-Distill-Llama-70B

DeepSeek-R1-Distill-Llama-70B

部署Dify

国内pull太慢，要更换docker国内源

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'
{
    "registry-mirrors": [
    	"https://docker.m.daocloud.io",
    	"https://docker.imgdb.de",
    	"https://docker-0.unsee.tech",
    	"https://docker.hlmirror.com",
    	"https://docker.1ms.run",
    	"https://func.ink",
    	"https://lispy.org",
    	"https://docker.xiaogenban1993.com"
    ]
}
EOF

sudo systemctl daemon-reload && sudo systemctl restart docker

sudo docker pull hello-world

选择Docker Compose部署

dify官网部署手册
我docker版本和docker compose版本如下：

克隆 Dify 源代码至本地环境。
假设当前最新版本为 0.15.3
git clone https://github.com/langgenius/dify.git --branch 0.15.3

进入 Dify 源代码的 Docker 目录
cd dify/docker

复制环境配置文件
cp .env.example .env

启动 Docker 容器

如果版本是 Docker Compose V2，使用以下命令：
docker compose up -d

如果版本是 Docker Compose V1，使用以下命令：
docker-compose up -d

启动成功如下：

启动模型

记得参考我之前部署7B的文章启动模型
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
参考：昇腾社区部署文章

Dify连接DeepSeek-R1-Distill-Llama-70B

选择openAI API接口，填入API和模型名称，记得要跟你config.json那个文件的模型名称一致

导入数据测试

测试没问题哈，就是回答慢了点，毕竟1秒也就几个字