Dify如何接入大模型-Ollama本地大模型&在线大模型api key

最新推荐文章于 2025-10-30 19:10:39 发布

原创最新推荐文章于 2025-10-30 19:10:39 发布 · 1.1k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#Dify #程序员 #深度学习 #职场经验 #测试工具 #程序人生 #软件测试

软件测试同时被 3 个专栏收录

2697 篇文章

订阅专栏

程序员

2456 篇文章

订阅专栏

职场经验

1479 篇文章

订阅专栏

📝 面试求职： 「面试试题小程序」，内容涵盖测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试，命中率杠杠的。（大家刷起来…）

📝 职场经验干货：

软件测试工程师简历上如何编写个人信息（一周8个面试）

软件测试工程师简历上如何编写专业技能（一周8个面试）

软件测试工程师简历上如何编写项目经验（一周8个面试）

软件测试工程师简历上如何编写个人荣誉（一周8个面试）

软件测试行情分享（这些都不了解就别贸然冲了.）

软件测试面试重点，搞清楚这些轻松拿到年薪30W+

软件测试面试刷题小程序免费使用（永久使用）

Dify本地化部署已经完成，初次使用需要先在 Dify 的【设置-模型供应商】页面内添加并配置所需要的模型。

Dify 目前已支持主流的模型供应商，例如 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列等。不同模型的能力表现、参数类型会不一样，你可以根据不同情景的应用需求选择你喜欢的模型供应商。

本篇文章，详细给大家Dify如何接入本地模型、在线模型api：

前言

Dify本地化部署已经完成，初次使用需要先在 Dify 的【设置 — 模型供应商】页面内添加并配置所需要的模型。

一、模型类型

在 Dify 中，按模型的使用场景将模型分为以下 5 类：

系统推理模型。即大语言模型，在创建的应用中，默认用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。

• 已支持的系统推理模型供应商：OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)等
Embedding模型。设置知识库文档嵌入处理的默认模型。在知识库中，将分段过的文档做 Embedding 用的是该类型的模型。在使用了知识库的应用中，将用户的提问做 Embedding 处理也是用的该类型的模型。

• 已支持的 Embedding 模型供应商：OpenAI、ZHIPU(ChatGLM)、Jina AI(Jina Embeddings)等
Rerank模型。Rerank 模型用于增强检索能力，改善 LLM 的搜索结果。将根据候选文档列表与用户问题语义匹配度进行重新排序，从而改进语义排序的结果。

• 已支持的 Rerank 模型供应商：Cohere、Jina AI(Jina Reranker)等
语音转文字模型。将对话型应用中，将语音转文字用的是该类型的模型。

• 已支持的语音转文字模型供应商：OpenAI等
文本转语音模型。将对话型应用中，将文字转语音用的是该类型的模型。

根据技术变量和用户需求，相信dify后面会陆续支持更多的模型及模型供应商

二、模型供应商

模型供应商分为以下两种：

自有模型。该类型的模型供应商提供的是自己开发的模型。如 OpenAI，DeepSeek等。
托管模型。该类型的模型供应商提供的是第三方模型。如 Hugging Face，Ollama、Xinference等。

Dify 中接入不同类型的模型供应商的方式稍有不同。

接入自有模型的模型供应商：

接入自有模型的供应商后，Dify 会自动接入该供应商下的所有模型。

接入托管模型的模型供应商：

托管类型的供应商上面有很多第三方模型。接入模型需要一个个的添加。

Dify 中接入模型，主要为2种形式：

本地模型：对于本地已部署大模型，如Ollama，Xinference等，在平台下载需要的模型后，在dify配置接入。
在线API：通过模型供应商提供的API Key进行接入。这里需要前往模型厂商官方网站获得他们的 API key 。

这2种具体如何接入，接下来会详细讲解。

三、Dify接入本地模型Ollama

Ollama是一个让你能在本地运行大语言模型的工具，我们可以通过Ollama在本地部署对应的大模型，比如deepseek-r1:1.5b这种小模型。具体如何安装及部署大模型，见官网 https://ollama.com/

1、安装Ollama插件

切换到Dify- 右上角-账号-设置- 模型供应商，安装Ollama插件，安装后显示在【待配置】

2、添加模型

模型名称：deepseek r1:1.5b (填你本地安装的大模型)
基础URL: http://<your-ollama-endpoint-domain>:11434
- 此处需填写 Ollama 服务地址。
- 若 Dify 为 Docker 部署，建议填写局域网 IP 地址，例如：http://192.168.1.100:11434 或 Docker 容器的内部 IP 地址，例如：http://host.docker.internal:11434。
- 若为本地源码部署，可填写 http://localhost:11434。

添加成功后的

3、模型添加完成以后，刷新页面，进行系统模型设置。

这样就接入成功了！！！

四、Dify接入在线大模型API

Dify接入大模型，除了前面讲的基于ollama接入本地部署的大模型这种方式外；接下来讲解通过模型供应商提供的API Key进行接入。这种方式需要前往模型厂商官方网站获得他们的 API key。

1、Deepseek在线api key接入

第1步、获取DeepSeek的API key

访问deepseek开放平台 https://platform.deepseek.com/usage

点击【查看价格详情】可以了解价格，及扣费规则。

新号一般会送一部分的tokens数量（tokens可以简单的理解为你输入给大模型的提示词+大模型输出的内容之和所占用的字符数），这个tokens数量可能会随着模型价格变化而变化，不过deepseek的api价格比较便宜，比如我充值了10块钱，用了蛮久，目前费用还不到1块。

点击左侧API keys --> 创建API key，一般需要给api key命名用来区分不同的API key，且api key只在创建的时候可见，处于安全原因，无法通过管理界面再次查看它。

这里以免后面重复用，可以第一次就复制到本地文档，不过忘记了影响不大，重新再创建一个新的。

第2步、Dify中接入DeepSeek的API

下载【深度求索】的模型插件，添加配置：

api key ：填入在deepseek开放平台创建的api key
base_url：填入https://api.deepseek.com；如果出于与OpenAI兼容考虑，可以填https://api.deepseek.com/v1

2、硅基流动、阿里云百炼api key接入

Deepseek只是推理模型，如果还想通过api接入Embedding模型、rerank模型等；那么这里给大家推荐几个

提供一站式大模型云服务平台。比如硅基流动、阿里云百炼。

1.硅基流动：

硅基流动（SiliconCloud）是硅基流动公司推出的一站式大模型云服务平台，致力于为开发者和企业提供高效、低成本且全面的生成式人工智能（GenAI）模型服务，包括 IaaS、PaaS 和 MaaS。其核心目标是通过优化大模型使用体验，帮助用户实现 “Token 自由”，即以更低成本和更高效率使用先进的大语言模型（LLMs）及其他生成式人工智能（AI）模型。

第1步：注册与API秘钥获取：

注册流程：访问硅基流动官网，可通过手机号完成注册并登录。新用户会赠送余额。
注册传送门：https://cloud.siliconflow.cn/i/lOfOXFoS
API 密钥创建步骤：首先，登录后，进入 “API 密钥” 页面。然后，点击 “新建 API 密钥” 按钮，为后续模型调用生成唯一密钥。最后，妥善保存密钥，用于后续配置模型调用。

第2步：Dify中接入硅基流动api key

下载【硅基流动】的模型插件，点击【设置】：

API Key ：填入在硅基流动官网申请的api key，点击保存。

接入成功后，能看到支持的大模型。

2.阿里云百炼：

基于通义系列大模型和开源大模型的一站式大模型服务平台，提供「生成式大模型的全流程应用工具」和「企业大模型的全链路训练工具」。为大模型，也为小应用。百炼支持推理、图像、音视频、数学、法律等方面的通义大模型。同时，也支持众多第三方大模型，例如DeepSeek、Llama、ChatGLM、零一万物、Stable Diffusion等。