【AI实践】Dify调用本地和在线模型服务

AI_Gump

已于 2024-06-16 17:11:26 修改

阅读量3.7k

点赞数 10

分类专栏： AI工程实践文章标签：人工智能 ai 语言模型

于 2024-06-16 17:08:21 首次发布

本文链接：https://blog.youkuaiyun.com/AI_Gump/article/details/139722782

版权

背景

Ollama可以本地部署模型，如何集成私有数据、如何外部应用程序对接，因此需要有一个应用开发框架

Dify功能介绍

欢迎使用 Dify | 中文 | Dify

下文将把dify部署在PC上，windows环境；

安装部署

安装dify及docker

jacob@Jacobs-NUC:/mnt/d/wsl$ git clone https://github.com/langgenius/dify
Cloning into 'dify'...
remote: Enumerating objects: 59108, done.
remote: Counting objects: 100% (8801/8801), done.
remote: Compressing objects: 100% (1569/1569), done.

docker已经安装完成的情况下

PS C:\Users\iamlv> cd D:\wsl\dify

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI_Gump

关注关注

10
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

dify 大模型开源应用框架使用案例，api调用,添加asr、tts服务

weixin_42357472的博客

10-19

1994

参看： https://github.com/langgenius/dify下载安装： https://docs.dify.ai/getting-started/install-self-hosted/docker-compose 首先访问先设置帐号密码 web访问 1、模型配置右侧设置里 https://docs.dify.ai/zh-hans/development/models-integration/ollama 添加ollama报错，因为部署dify是容器里访问外面，解决方法： syste

调用本地大模型服务出现PermissionDeniedError的解决方案

热门推荐

weixin_43178406的博客

09-23

12万+

本文主要介绍了调用本地大模型服务出现PermissionDeniedError的解决方案，希望能对使用Python的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

参与评论您还未登录，请先登录后发表或查看评论

一文彻底搞懂大模型 - Dify（Agent + RAG）

2401_85373396的博客

10-09

1万+

Dify 是一个用于构建 AI 应用程序的开源平台。Dify融合了后端即服务（Backend as Service）和LLMOps理念。它支持多种大型语言模型，如Claude3、OpenAI等，并与多个模型供应商合作，确保开发者能根据需求选择最适合的模型。Dify通过提供强大的数据集管理功能、可视化的Prompt编排以及应用运营工具，大大降低了AI应用开发的复杂度。

【Dify】Dify自定义模型设置 | 对接DMXAPI使用打折 Openai GPT 或 Claude3.5系列模型方法详解

CTRA®王大大技术中心

01-07

3124

【Dify】Dify自定义模型设置 | 对接DMXAPI使用打折 Openai GPT 或 Claude3.5系列模型方法详解

DeepSeek + Dify ：零成本搭建企业级本地私有化知识库保姆级喂饭教程

qingkahui24689的博客

02-19

3661

DeepSeek作为可以私有化本地部署的大模型，加上Dify这个组合，我们还可以有很多其他应用场景，比如：智能客服，智能题库。也可以把自己的个人资料，过往输出文章，日记等所有个人信息上传到本地知识库，打造自己的私人助理。Dify还有很多其他功能，有了deepseek这样的优秀国产AI大模型加持，我们可以做更多智能体应用。当然，Dify也可以像coze一样，发布为对外服务的api，这样，它就可以结合cursor快速做出更多的AI应用。何以破局，唯有行动！

37.4k 的 Dify，一款小白也可以轻松上手的大模型开发平台（一）：部署及基础使用

瓦罗兰特顶级C位的博客

10-21

1140

37.4k 的 Dify，一款小白也可以轻松上手的大模型开发平台（一）：部署及基础使用

Dify应用实践

weixin_40722121的博客

08-15

560

Jina AI - Your Search Foundation, Supercharged.About You | Coheremudler/LocalAI: :robot(github.com)Mudler blog — Place where I write about stuff在应用内集成知识库 | 中...

私有化部署体验 Dify！收藏这一篇就够了！

Everly_的博客

10-28

1万+

是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。

AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型， API 形式 Python 调用进行简单聊天接口测试

仙魁XAN

10-25

8555

AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。本节将介绍如何使用 Dify 平台调用 Ollama 部署的本地模型来创建一个聊天应用。通过 API 的方式发起聊天，可以让前端自由布置所需的聊天形式。

大模型本地部署 | 详细教程，私有化部署体验 Dify！

star_nwe的博客

10-15

2万+

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

本地如何通过Ollama部署llama3、phi3等本地大模型？

lvaolan8888的博客

06-06

1764

来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

AI“落地”系列 - Dify 本地化（部署&调用）

2401_85343303的博客

02-27

1974

Dify 是一个开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式 AI 应用的创建和部署。它结合了后端即服务（Backend as Service, BaaS）和LLMOps的理念，为开发者提供了一个用户友好的界面和一系列强大的工具。Dify 支持多种大型语言模型，如 Claude3、OpenAI 等，并与多个模型供应商合作，确保开发者可以根据需求选择最适合的模型。低代码/无代码开发：通过可视化的方式允许开发者轻松定义 Prompt、上下文和插件等，无需深入底层技术细节。模块化设计。

AI大模型全解：Dify 如何本地部署&调用

最新发布

程序员鑫港的博客

03-14

1640

AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现聊天对话

仙魁XAN

10-17

1992

AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。Dify是一个开源的大语言模型（LLM）应用开发平台，它旨在简化和加速生成式 AI 应用的创建和部署。

使用 Spring AI 调用本地模型实现

秋元的博客

01-23

1228

本篇博客展示了如何使用 Spring AI 框架集成本地的 PyTorch 模型，并通过 Spring Boot 提供一个 Web 接口来进行预测。我们使用了 TorchScript 格式来将 PyTorch 模型转换为可在 Java 环境中使用的格式，并通过简单的 Spring 配置和控制器使其能够在 Web 应用中提供服务。希望这个示例对你集成和调用本地 PyTorch 模型有所帮助。如果你对 Spring AI 或 PyTorch 的其他集成有疑问，欢迎在评论区留言，我们一起讨论。

Dify 的模型接入指南，模型合集

LKIDTI数据的博客

12-15

3057

Dify 支持通过以下方式接入 LLM（大语言模型），全是可视化的配置组件配置内容，操作简单：•本地 API：通过自建 API 接口（推荐遵循 OpenAI 接口规范）。•本地模型：如 Ollama、LocalAI 等。•在线 API：支持调用国内外优秀的大模型 API，如文心一言、Deepseek、智谱 AI 等。

【AI工作流】Dify - 如何利用Dify内置长故事生成器提升创作效率：完整实践指南

万物皆有灵

11-01

5234

Dify是一个强大的内容生成工具，内置的长故事生成器能够帮助用户快速生成结构化的故事内容。其工作流由多个节点组成，每个节点负责特定的功能。通过灵活的组合和配置，用户可以根据自己的需求定制工作流。

Dify-LLM平台应用实践

qq_43548590的博客

09-26

1997

开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。

AI大模型本地部署 | 详细教程，私有化部署体验 Dify！

DEVELOPERAA的博客

12-25

8253

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。

dify使用本地部署的模型

01-10

### 如何使用本地部署的 Dify 模型 #### 准备工作为了能够顺利使用本地部署的 Dify 模型，需先确认已经按照官方指南完成了 Docker 及 Docker Compose 的安装[^3]。 #### 启动服务启动 Dify 服务可以通过如下命令完成。确保当前目录下存在 `docker-compose.middleware.yaml` 文件： ```bash docker compose -f docker-compose.middleware.yaml up -d ``` 如果有任何错误提示，请参照相关文档排查问题[^4]。 #### 配置 API Key 进入设置页面中的「模型供应商」选项卡，选择所要使用的第三方服务商（例如 Moonshot AI）。接着点击对应的设置按钮来输入必要的认证信息，如 API Key 等[^2]。 #### 使用模型一旦上述准备工作全部就绪，就可以开始调用已部署的服务接口来进行推理操作了。通常情况下，这涉及到向特定 URL 发送 HTTP 请求，其中包含了待处理的数据以及可能的一些参数设定。具体的请求方式取决于实际应用场景和服务端的具体实现细节。对于想要进一步了解如何具体构建这些请求的应用开发者来说，建议查阅 Dify 提供的相关开发文档获取更详细的指导说明[^1]。