Dify+Ollama+本地部署deepseek模型(自用)

第一步:安装Ollama

第二步:在ollama上下载模型

  ollama run...

    第三步:安装docker desktop

    第四步:github拉取dify源码

    github: dify
    下载zip,解压缩到D盘

    第五步:更改配置文件

    (先复制一份,防止修改失败)

    dify——docker——.env
    用vscode把文件打开,最后加上两行

    #启用自定义模型
    CUSTOM_MODEL_ENABLED=true
    #指定Ollama的API地址(根据部署环境调整IP)
    OLLAMA_API_BASE_URL=host.docker.internal:11434
    

      第六步:远程下载dify

      在docker目录下,右键进入终端

      docker compose up -d
      

        这步耗时最久,因为服务器在国外(可开节点试试)且文件较大。

        第七步:访问本地dify网址

        就是在浏览器输入127.0.0.1

        第八步:解决登录界面502问题

        dify docker部署后,在install界面卡住,step请求报502的问题解决
        直接用第二个创建自动化脚本的方法。

        第九步:在dify中配置LLM和系统推理模型

        (1)选择Ollama作为模型供应商,填入模型名字和基础URL
        (http://host.docker.internal:11434)
        在这里插入图片描述
        (2)刷新一下,并确保模型已开启,然后设置系统推理模型

        注意:
        1、Docker要先运行起来,才能打开dify网页!
        2、后续如何打开dify?
        在vscode打开dify——docker这个文件夹,然后终端执行两条命令

        docker compose up -d
        python dify-nginx.py
        

        3、其他:
        (1)windows用python而不是python3,确认命令是什么操作系统的
        (2)执行程序时,检查一下问题栏有没有**库无法导入的情况!再运行
        (3)复制模型名称时,检查不要多带了空格,否则会找不到模型,引发404错误

        评论
        添加红包

        请填写红包祝福语或标题

        红包个数最小为10个

        红包金额最低5元

        当前余额3.43前往充值 >
        需支付:10.00
        成就一亿技术人!
        领取后你会自动成为博主和红包主的粉丝 规则
        hope_wisdom
        发出的红包
        实付
        使用余额支付
        点击重新获取
        扫码支付
        钱包余额 0

        抵扣说明:

        1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
        2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

        余额充值