dify离线部署

冰镇西瓜

已于 2025-03-18 09:37:53 修改

阅读量2.1k

点赞数 33

文章标签： eureka 云原生

于 2025-03-10 16:35:51 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_42538734/article/details/145922620

版权

环境准备

1、配置好 ollama、deepseek、bge-m3

以bge-m3为例，本地部署bge-m3
首先在一台能连网的linux服务器上（部署有ollama）

创建想要保存模型的文件夹

mkdir /opt/LLMModels/bge_m3/models

编辑ollama.service,配置ollama模型的保存路径

vim /etc/systemd/system/ollama.service

添加模型存储地址

Environment="OLLAMA_MODELS=/opt/LLMModels/bge_m3/models"

将models目录设置属主，必须做，否则ollama无法启动

chown root:root /opt/LLMModels/bge_m3/models -R

重新加载配置文件并重启ollama

systemctl daemon-reload
systemctl restart ollama

ollama list 测试ollama 运行是否正常

最后拉取 bge-m3

ollama pull bge-m3

可在/opt/LLMModels/bge_m3/models目录下看到拉取得模型

使用tar命令压缩文件夹

tar -czvf bge_m3.tar.gz bge_m3

上述命令将压缩名为bge_m3.tar.gz的文件夹bge_m3。

将打包文件传输到服务器机器相应的位置。解压文件

tar -xzvf bge_m3.tar.gz

ollama list

即可看到模型

一、云服务器部署

2.docker安装

2.1, 下载安装包

由于是离线部署，因此需要找一个有网络的机器

查看原来机器的docker版本docker --version

访问 https://download.docker.com/linux/static/stable/ 选择x86_64选择对应版本的.tgz文件下载如docker-26.1.4.tgz

下载后将安装包上传至服务器对应文件夹下，我选在放在了 /root文件夹下

cd /root

2.2 上传至服务器

cd /root   #对应目录下
 
tar -xvf docker-26.1.4.tgz   # 解压安装包:
 
chmod 755 -R docker   # 赋予可执行权限
 
cp docker/* /usr/bin/     # 复制docker到/usr/bin/目录下，全局可执行的docker命令
 
vim /etc/systemd/system/docker.service  # 创建docker服务配置文件docker.service

输入下面的字符

[Unit]
 
Description=Docker Application Container Engine
 
Documentation=https://docs.docker.com
 
After=network-online.target firewalld.service
 
Wants=network-online.target
 
 
 
[Service]
 
Type=notify
 
ExecStart=/usr/bin/dockerd
 
ExecReload=/bin/kill -s HUP $MAINPID
 
 
 
Timeo