Dify集成ollama

Dify集成ollama

1.离线安装Dify

具体安装步骤请查看：CentOS7离线部署安装Dify

2.离线安装ollama

（1）基于docker安装ollama（推荐）
（注意：按照dify中介绍的步骤，现在联网的机器上拉取ollama镜像，然后导出镜像到离线服务器中）

# 拉取镜
docker pull ollama/ollama           

# 运行容器
docker run --rm -d --name ollama-container ollama/ollama:latest

# 然后下载模型：
docker exec ollama-container ollama pull deepseek-r1:1.5b

# 确保下载完成，如果出现 deepseek-r1:1.5b，说明下载成功。
docker exec ollama-container ollama list

# 提取模型文件，将 Ollama 的模型文件拷贝出来并打包
docker cp ollama-container:/root/.ollama /path/to/save
tar -cvf ollama_models.tar /path/to/save/.ollama

# 导出 Docker 镜像
docker save -o ollama_cpu.tar ollama/ollama:latest

# 导入 Ollama
docker load -i ollama_cpu.tar
# 检查
docker images | grep ollama
# 在离线服务器上导入deepseek-r1:1.5b：
tar -xvf ollama_models.tar -C /root/
# 运行 Ollama
docker run -d --name ollama-container -p 11434:11434 -v /root/.ollama:/root/.ollama ollama/ollama
# 测试ollama，检查模型是否正确加载，如果看到 deepseek-r1:1.5b，说明成功加载！
docker exec ollama-container ollama list
# 运行测试：
docker exec ollama-container ollama run deepseek-r1:1.5b "你好，Ollama!"

（2）手动安装方式（不建议，因为可能遇到环境依赖版本不匹配的情况）

下载ollama安装包：https://github.com/ollama/ollama/releases/

将安装包传输到离线服务器指定目录下（例如：/usr/local/dify/tools/），执行以下命令，进行解压：

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

运行ollama： 运行ollama：

ollama serve       

发现报以下错误：

错误原因：

缺少 glibc 和 libstdc++ 的较新版本，而 Ollama 需要 GLIBC_2.27 及 GLIBCXX_3.4.25 以上的版本。因为服务器无法联网，无法直接 yum install，可以手动下载并安装 glibc 和 libstdc++ 相关的库。

错误解决之后，可以执行以下命令，验证ollama是否运行：

ollama -v 

3.Dify配置ollama模型

在可以联网的机器上 下载ollama插件：

将下载好的插件导入到离线的Dify环境中进行安装即可：

首先，创建一个应用助手。点进去之后会提示配置LLM：

进行ollama的配置：

FAQ

离线安装 dify_plugin

1. 如果 pip 安装成功但服务器无法联网： 在可联网的机器上下载 dify_plugin：
pip download dify_plugin -d dify_offline
2. 然后拷贝 dify_offline 到服务器：
pip install --no-index --find-links=dify_offline dify_plugin

如果ollama模型保存失败，且试过很多办法都没有用。请将Dify降到0.15.3版本