Dify知识库可接入全球大模型【一.搭建演示篇】

视频教程

  1. 极兔云UP主做的视频

dify功能介绍

Dify 是一个 LLM 应用开发平台,已经有超过 10 万个应用基于 Dify.AI 构建。它融合了 Backend as Service 和 LLMOps 的理念,涵盖了构建生成式 AI 原生应用所需的核心技术栈,包括一个内置 RAG 引擎。使用 Dify,你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力。
它的功能有哪些呢?

  • 支持各种大模型的API接入和调用
  • 可以对接notion作为知识库数据来源
  • 支持导入自己的知识库来训练模型
  • 支持画图 图片 文字 语音 的输入输出
  • 支持接入微信 QQ 公众号 钉钉 飞书
  • 支持调用 Stable Diffusion WebUI 一个可以在本地部署的图片生成的工具
  • 支持网页爬虫,爬取网站转为知识库
  • 支持搜索Github仓库,检索你需要的开源项目。
  • 支持讯飞星火提供图片生成api
  • 支持天气预报查询的目标城市
  • 支持计算数学表达式的工具
  • 支持将 PNG 和 JPG 图像快速轻松地转换为 SVG 矢量图
  • 支持在 DuckDuckGo 上进行搜索并获取结果
  • 支持Bing SERP 搜索并提取片段和网页的工具。输入应该是一个搜索查询。
  • 支持Google SERP 搜索并提取片段和网页的工具。输入应该是一个搜索查询。
  • 支持 MEDLINE、生命科学期刊和在线书籍的超过 3500 万篇生物医学文献引用。引用可能包括来自 PubMed Central 和出版商网站的全文内容链接。
  • 支持AI一键生成PPT,输入你的内容主题,让AI为你一站式服务到底
  • 支持维基百科搜索并提取片段和网页的工具。
  • 支持DALL-E2 DALL-E3 文本到绘画
  • 支持用于获取油管频道视频统计数据的工具
  • 支持WolframAlpha 是一个强大的计算知识引擎
  • 支持从Arxiv存储库搜索科学论文和文章的工具。 输入可以是Arxiv ID或作者姓名
  • 支持生成二维码
  • 发送SMS或Twilio消息通道消息。

项目演示

可接入可自定义任何大模型

Pasted image 20240326200644

Pasted image 20240326200727

可以将notion作为知识库数据来源

Pasted image 20240326200810

创建AI应用

Pasted image 20240326200328

导入知识库
 

Pasted image 20240326200347


 

Pasted image 20240326200306

Pasted image 20240326200521

Pasted image 20240326200548

选择带有Docker环境的系统

Pasted image 20240326203608.png

若想省去所有搭建步骤【可以采用浪浪云一键部署】

不采用此方法可跳过本步骤

Pasted image 20240326233211

只看一下两步

添加端口转发

Pasted image 20240326195626

选择xterm.js登录服务器

Pasted image 20240326193843

Pasted image 20240326194209

Pasted image 20240326194309

克隆源码到服务器

git clone https://gitee.com/geekrabbit/dify.git

Pasted image 20240326194420

进入docker目录下

cd dify/docker

Pasted image 20240326194523

部署容器

docker compose up -d

Pasted image 20240326194634

部署结果:

[+] Running 7/7

 ✔ Container docker-web-1       Started                                    1.4s 

 ✔ Container docker-db-1        Started                                    1.3s 

 ✔ Container docker-redis-1     Started                                    1.2s 

 ✔ Container docker-weaviate-1  Started                                    1.2s 

 ✔ Container docker-worker-1    Started                                    1.8s 

 ✔ Container docker-api-1       Started                                    1.7s 

 ✔ Container docker-nginx-1     Started                                    2.7s

Pasted image 20240326195039

浏览器首次登录

Pasted image 20240326200021

Pasted image 20240326200204

Pasted image 20240326200248

Pasted image 20240326185006

### 集成Rerank模型至Dify平台 为了实现将`rerank`模型集成到Dify平台上,可以采用对Dify进行二次开发并本地部署的方式[^1]。具体而言: #### 准备工作 确保已经安装了必要的依赖库以及环境配置完成。对于特定的`bce-reranker-base`模型来说,这通常涉及到Python环境及其相关机器学习框架的支持。 #### 开发与定制化 针对Dify系统的特性,对其进行适当修改以便支持新的`rerank`功能模块。这部分可能涉及调整API接口设计、数据流处理逻辑等方面的工作,使得外部调用者可以通过标准RESTful API访问到经过重新排序后的查询结果列表。 ```python from dify import app, db import requests @app.route('/api/rerank', methods=['POST']) def rerank(): data = request.json['data'] response = requests.post('http://localhost:8000/rerank_endpoint', json=data).json() return jsonify(response), 200 ``` 此代码片段展示了如何创建个新的端点来接收来自客户端的数据请求,并转发给内部运行着`bce-reranker-base`的服务实例来进行实际计算;最后再把得到的结果返回给原始发起方。 #### 模型服务搭建 可以选择自行构建套完整的模型服务体系结构——即从零开始训练自己的重排序算法直至将其封装成为Web Service形式对外提供服务[^2]。另种更为简便的选择则是利用现有第三方服务商所提供的高质量预训练大模型作为基础架构的部分,通过简单的HTTP请求即可获得所需能力而无需过多关注底层细节。 #### 编排与连接 当上述准备工作完成后,则需借助于像Kubernetes这样的工具帮助管理整个应用程序生命周期内的各项资源分配情况。与此同时,在完成了所有必要组件之间的相互关联之后(比如让Nginx反向代理指向正确的后端服务器),最终步就是按照官方文档指示操作以使新加入的功能正式生效[^3]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值