【AI实践】Dify调用本地和在线模型服务

原创

已于 2024-06-16 17:11:26 修改 · 4.6k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #ai #语言模型

于 2024-06-16 17:08:21 首次发布

背景

Ollama可以本地部署模型，如何集成私有数据、如何外部应用程序对接，因此需要有一个应用开发框架

Dify功能介绍

欢迎使用 Dify | 中文 | Dify

下文将把dify部署在PC上，windows环境；

安装部署

安装dify及docker

jacob@Jacobs-NUC:/mnt/d/wsl$ git clone https://github.com/langgenius/dify
Cloning into 'dify'...
remote: Enumerating objects: 59108, done.
remote: Counting objects: 100% (8801/8801), done.
remote: Compressing objects: 100% (1569/1569), done.

docker已经安装完成的情况下

PS C:\Users\iamlv> cd D:\wsl\dify\docker\
PS D:\wsl\dify\docker> docker

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI_Gump

关注关注

10
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Dify学习笔记-知识库(六)

大数据知识梳理

01-25

2万+

Dify学习笔记-知识库

Dify平台部署全攻略：快速上手的终极教程！

weixin_53587261的博客

09-20

9279

Dify 是苏州语灵人工智能科技公司的一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。

参与评论您还未登录，请先登录后发表或查看评论

大模型开发入门指南：基于Dify知识库搭建全流程解析（收藏级教程）

热门推荐

star_nwe的博客

10-15

3万+

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

Dify智能体调用本地MCP服务

记录工作历程

06-24

1366

本文介绍了如何利用Spring AI框架搭建本地MCP服务。主要内容包括：1) MCP协议的基本概念及其在AI系统中的标准化作用；2) Spring AI提供的三种MCP服务模式（STDIO、MVC、WebFlux）及适用场景；3) 实践指南：通过官方示例构建MCP服务，重点演示了添加自定义业务逻辑(BIService类)的过程；4) 详细讲解了@Tool注解的关键配置参数；5) 完整展示了工具回调机制(ToolCallbackProvider)的实现。该方案支持JDK17和Maven3.9.9环境，可轻松

从零开始搭建你的专属AI平台Dify与远程访问轻松管理调用本地大模型

FGGIT的博客

04-03

894

从零开始搭建你的专属AI平台Dify与远程访问轻松管理调用本地大模型

dify平台配置本地化的模型

tanzitong的博客

05-24

1700

本文介绍了如何将本地部署的大模型集成到Dify平台。首先通过Ollama工具在本地配置适合电脑性能的模型（如deepseek-r1:1.5b），然后在Dify中安装Ollama模型供应商，正确配置模型URL（Docker部署需使用局域网IP或host.docker.internal）。该方案避免了API调用费用，便于调试且不受token限制，适用于Dify的Docker或本地源码部署场景。配置完成后即可在Dify中直接使用本地模型。

精选资源

AI本地化部署-AI能力集成工具-Comfyui本地部署-Dify本地部署-一键本地化部署AI工具

03-16

它不仅继承了comfyui这样的平台的AI能力，还集成了Dify等众多AI服务的本地部署功能，大大降低了AI服务的成本和门槛。具体而言，这一工具的核心功能包括了服务发现（Discover）和一键安装（Install）。服务发现功能...

别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

2301_81888214的博客

02-13

1043

别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型， API 形式 Python 调用进行简单聊天接口测试

仙魁XAN

10-25

1万+

AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。本节将介绍如何使用 Dify 平台调用 Ollama 部署的本地模型来创建一个聊天应用。通过 API 的方式发起聊天，可以让前端自由布置所需的聊天形式。

本地如何通过Ollama部署llama3、phi3等本地大模型？

lvaolan8888的博客

06-06

2329

来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

AI“落地”系列 - Dify 本地化（部署&调用）

2401_85343303的博客

02-27

3053

AI开发新体验：本地部署Dify应用开发平台并接入大模型无公网IP远程交互

2401_85375298的博客

11-10

5728

本篇文章介绍如何将Dify本地私有化部署，并且接入Ollama部署本地模型，实现在本地环境中部署和管理LLM，再结合cpolar内网穿透实现公网远程访问Dify。Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。Ollama 是一个本地推理框架，允许开发人员轻松地在本地部署和运行 LLM，例如 Llama 3、Mistral 和 Gemma。

Dify应用实践

weixin_40722121的博客

08-15

763

Jina AI - Your Search Foundation, Supercharged.About You | Coheremudler/LocalAI: :robot(github.com)Mudler blog — Place where I write about stuff在应用内集成知识库 | 中...

RAGFlow 本地部署及 Dify 调用，让你的本地大模型更有深度（保证好使）

JovaZou的成长之路

03-29

3845

在人工智能飞速发展的今天，大模型的应用越来越广泛。然而，许多人在使用大模型时面临着各种限制，例如数据隐私问题、高昂的云服务费用等。本地部署大模型并结合有效的工具来提升其性能成为了一种极具吸引力的解决方案。本文将为大家详细介绍如何通过 RAGFlow 进行本地部署，并利用 Dify 进行调用，让你的本地大模型发挥出更强大的能力，为各种应用场景提供有力支持。

Docker部署MinIO对象存储服务器结合Cpolar实现远程访问

Aron的博客

11-20

4143

MinIO是一个开源的对象存储服务器，可以在各种环境中运行，例如本地、Docker容器、Kubernetes集群等。它兼容Amazon S3 API，因此可以与现有的S3工具和库无缝集成。MinIO的设计目标是高性能、高可用性和可扩展性。它可以在分布式模式下运行，以满足不同规模的存储需求。MinIO是一个开源的软件，可以免费使用，还可以在普通硬件上运行，降低了存储成本,下面介绍在本地Docker中部署 MinIO 服务,并实现远程访问管理界面,节约云服务器运行成本.

Dify-LLM平台应用实践

qq_43548590的博客

09-26

4937

开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。

dify调用ollama本地大模型

02-22

### 如何使用Dify调用Ollama本地大型模型为了利用Dify来调用Ollama本地部署的大规模语言模型，需先启动Ollama兼容OpenAI的服务接口[^1]。一旦服务成功运行，在应用程序中集成此功能的方式类似于调用GPT API的方法。具体实现过程涉及几个方面： #### 配置环境变量确保已设置必要的API密钥和其他配置参数作为环境变量，以便于后续请求能够顺利发送到本地服务器而不是默认的云端位置。 ```bash export OPENAI_API_BASE=http://localhost:8000/v1 export OPENAI_API_KEY=your_api_key_here ``` 这里`OPENAI_API_BASE`指向的是本地主机上的特定端口和服务版本路径；而`OPENAI_API_KEY`则是用于身份验证的关键信息。 #### 安装依赖库安装支持与这些API交互所需的Python包或其他编程语言对应的客户端库。对于Python开发者来说，可以考虑使用官方推荐或社区广泛接受的软件包如`openai`: ```bash pip install openai ``` #### 编写代码示例下面给出一段简单的Python脚本例子，展示了怎样通过上述准备好的环境向本地LLM发起查询请求并处理返回的结果。 ```python import os from openai import OpenAI client = OpenAI(api_key=os.getenv('OPENAI_API_KEY')) response = client.chat.completions.create( messages=[{"role": "user", "content": "你好"}], model="ollama-local-model" ) print(response.choices[0].message.content.strip()) ``` 这段程序首先创建了一个基于环境变量中的API key初始化的新实例对象`client`，接着构建了一条消息列表传入给聊天补全方法`.chat.completions.create()`，其中指定了要使用的模型名称为`ollama-local-model`——这应该替换为你实际加载的那个具体的OLLAMA模型ID。最后打印出回复的内容部分。