ubuntu系统docker 部署本地deepseek知识库

系统:Ubuntu 22.04.2 LTS (GNU/Linux 6.8.0-52-generic x86_64)
软件:
    Docker version 28.0.2
    Docker-compose version 1.29.2
    Dify 1.1.0 
    Ollama 0.6.2
    Deepseek-r1:70b

docker,docker-compose部署掠过,教程比比皆是。

准备工作,root下创建 /data/ollama/models

部署 ollama:

    拉取镜像
    docker pull ollama/ollama:0.6.2
    
    运行ollama    
    docker run -d -v /data/ollama/models/:/data/models -v /etc/localtime:/etc/localtime:ro -e OLLAMA_MODELS=/data/models -p 11434:11434 --gpus all --restart always --name ollama-0.6.2 ollama/ollama:0.6.2

    进入ollama容器
    docker exec -it ollama-0.6.2 bash

    启动deepseek-r1:70b
    ollama run deepseek-r1:70b

    运行后会开始下载70b,大概40G,下载完成后,会有一个对话测试。成功对话则表示模型部署成功。
    结束对话 输入/bye

    查看模型列表
    ollama list

    查看运行中的模型
    ollama ps

    ollama访问地址
    服务器IP:11434

部署dify

git下载dify文件

    进入目录 /data,运行命令,这里指定了版本1.1.0,不指定版本,把命令 --branch 1.1.0 去掉
    git clone https://github.com/langgenius/dify.git --branch 1.1.0

    下载完成后,目录data下,会有一个文件夹dify
    进入dify中的docker目录下 cd /data/dify/docker

    执行docker-compose up -d

 如图所示则表示dify部署完成。

    注册dify


    访问dify
    浏览器访问:服务器IP,输入注册账号和密码即可

    打开设置


    点击模型供应商,在搜索栏输入ollama

    在搜索结果中,找到ollama,点击安装,等待安装成功。

    安装成功后,添加模型
    

具体填入

然后保存。

    模型加入完成。就可以进入首页工作室中,创建应用
具体部署,请参考官方教程

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值