本地dify调用autodl服务器上的ollama实现运用deepseek-r1 32b

1.在autodl上安装ollama

学术加速 source /etc/network_turbo

下载ollama curl -fsSL https://ollama.com/install.sh | sh (linux系统)

可能有对应依赖需要安装,安装后重新下载即可

例如:lshw sudo apt-get update sudo apt-get install lshw

检查是否安装成功 systemctl status ollama.service

若systemctl systemd 没有安装 apt-get install systemd -y apt-get install systemctl -y

重启服务 systemctl start ollama.service

由于AutoDL只能开放6006端口,所以我们要想在本地电脑访问到Ollama接口,必须手动设置

Ollama端口为6006;同时将Ollama的模型保存地址也修改到autodl-tmp文件夹下

编辑 etc/profile文件

vim /etc/profile

按g 然后按o进入编辑模式 在文件底部加上以下内容

export OLLAMA_HOST="0.0.0.0:6006"

export OLLAMA_MODELS=/root/autodl-tmp/models

按esc :wq保存并退出

输入以下命令检查是否生效

source /etc/profile

检查是否生效

echo $OLLAMA_HOST

下载模型 我这里是deepseek-r1:32b ollama run deepseek-r1:32b

成功即可对话

访问autodl6006端口需在autodl容器实例中点击快捷工具的自定义服务下载对应工具 将端口代理到本地端口实现访问

最后在dify添加模型即可

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值