本文介绍了通过 Docker 安装 Dify，然后集成 Ollama 和 XInference，并利用 Dify 快速搭建一个基于知识库问答的应用。
- 一、Dify 简介
- 二、Dify 安装
- 三、Dify 添加Ollama模型问答
- 四、Dify 基于知识库问答
一、Dify 简介
Dify 是一款开源的大语言模型（LLM）应用开发平台，旨在帮助开发者快速构建和部署生成式 AI 应用。以下是 Dify 的主要功能和特点 [1]：
- 融合 Backend as Service 和 LLMOps 理念：Dify 将后端即服务（Backend as Service）和 LLMOps 的理念结合，使开发者能够快速搭建生产级的生成式 AI 应用。
- 支持多种模型：Dify 支持数百种专有和开源的 LLM 模型，包括 GPT、Mistral、Llama3 等，能够无缝集成来自多家推理提供商和自托管解决方案的模型。
- 直观的 Prompt 编排界面：Dify 提供了一个直观的 Prompt IDE，用于编写提示、比较模型性能，并向基于聊天的应用程序添加语音转换等附加功能。
- 高质量的 RAG 引擎：Dify 拥有广泛的 RAG 功能，涵盖从文档摄取到检索的一切，并支持从 PDF、PPT 等常见文档格式中提取文本。
- 集成 Agent 框架：用户可以基于 LLM 函数调用或 ReAct 定义代理，并为代理添加预构建或自定义工具。Dify 提供了 50 多种内置工具，如 Google 搜索、DELL·E、Stable Diffusion 和 WolframAlpha。
- 灵活的流程编排：Dify 提供了一个强大的可视化画布，用于构建和测试强大的 AI 工作流，使开发者可以直观地设计和优化他们的 AI 流程。
- 全面的监控和分析工具：Dify 提供了监控和分析应用日志和性能的工具，开发者可以根据生产数据和注释不断改进提示、数据集和模型。
- 后端即服务：Dify 的所有功能都附带相应的 API，因此可以轻松将 Dify 集成到您自己的业务逻辑中。
二、Dify 安装
拷贝 Dify Github代码到本地 [2]。
git clone https://github.com/langgenius/dify.git
进入 dify 源代码的 docker 目录，拷贝环境变量。
cd dify/docker
cp .env.example .env
通过docker compose安装应用。
docker compose up -d
进入ollama容器，启动qwen2:7b模型。
root@ip-172-31-30-167:~/dify/docker# docker pull ollama/ollama
root@ip-172-31-83-158:~/dify/docker# docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always -e OLLAMA_KEEP_ALIVE=-1 ollama/ollama
root@ip-172-31-83-158:~/dify/docker# docker exec -it ollama bash
root@b094349fc98c:/# ollama run qwen2:7b
三、Dify 添加Ollama模型问答
通过EC2的公网IP地址加上80端口，登录Dify主页，创建管理账户。
通过管理员账号登录。
点击用户-设置。
添加Ollama模型。
添加qwen2:7b模型，因为Ollama是在本机启动，所以设置URL为本地IP地址，端口为114341，
“
qwen2-7b-instruct 利用YARN（一种增强模型长度外推的技术）支持 131,072 tokens上下文，为了保障正常使用和正常输出，建议API限定用户输入为 128,000 ，输出最大 6,144。[3]
”
点击 工作室-创建空白应用
创建“聊天助手”类型的应用，设置应用名称为Qwen2-7B，点击创建。
为应用设置提示词"你是一个人工智能助手"，可以和Qwen2:7B进行对话测试，这里是和大模型本身进行对话，没有引入外部的知识库，后续会引入知识库比较回答的结果。
四、Dify 基于知识库问答
添加Xorbits Inference提供的模型。
添加Text Embedding，即文本嵌入模型，模型的名称为bge-m3，服务器URL为http://172.31.30.167:9997（这里是本机的IP，也可以安装在其他机器，网络和端口可达即可），已经提前在本机上启动了XInference，并且启动了bge-m3模型（参考上一篇文章）。
添加Rerank，即重排模型，模型的名称为bge-reraker-v2-m3，服务器URL为http://172.31.30.167:9997（这里是本机的IP，也可以安装在其他机器，网络和端口可达即可），已经提前在本机上启动了XInference，并且启动了bge-reraker-v2-m3模型（参考上一篇文章）。
查看系统默认设置。
点击“知识库”-“导入已有文本”-“上传文本文件”-选择《促进和规范数据跨境流动规定》的文档。
导入成功后，设置文本检索方式，开启Rerank模型，选择bge-reranker-v2-m3模型，开启默认的Score阈值为0.5（即文本匹配度低于0.5分时，不会召回，不会添加到大模型的上下文中）。
在之前的聊天应用中，添加上面创建的知识库，重新询问大模型相同的问题，可以看到模型结合知识库进行了回答。
可以点击“Prompt日志”，查看日志文件，可以查看系统提示词，将匹配的知识库内容放在了<context></context>中。
点击创建的知识库-点击“召回测试”，可以输入一段文本，用与匹配知识库中的文本，匹配到的文本有一个权重分数，上面设置过的阈值是0.5，即大于这个分数的才会显示为“召回段落”。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
4730
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
