Muti-Agent

本篇文章主要对谷歌《提示词工程》白皮书进行解读。你不需要是数据科学家或机器学习工程师——每个人都可以写提示词！

SSE非常适合于大模型流式传输，其独特优势在于能够以流式传输的方式实时推送中间结果。这种机制巧妙地打破了传统请求-响应模式的局限，让用户在对话或内容生成过程中无需长时间等待完整结果，而是能以“即见即得”的方式逐步获取模型推理的阶段性成果，既提升了交互效率，又显著优化了用户体验，真正实现了“边思考边呈现”的智能交互新范式。然而，在特定应用场景下，流式传输机制却可能面临一定局限性，尤其是当业务逻辑需要针对模型输出的具体内容进行实时检测或校验时，其逐步呈现的输出特性会带来额外的处理挑战。[1][2]

分别修改api/core/app/apps/advanced_chat/app_generator.py、api/core/app/apps/agent_chat/app_generator.py、api/core/app/apps/chat/app_generator.py 的代码，如下所示。这是因为在 Dify 0.15.3 源码中，处理逻辑是：如果会话存在，则不解析输入参数，只有第一次会话时解析会话参数，原代码如下所示。如果 Dify 还在运行中，执行如下命令停止，如下所示。

Dify 本地部署如果遇到转圈的问题，大概率是因为你没有执行如下命令，修改配置文件的原因。执行如上命令后，重新执行如下命令启动 docker 容器即可。

到这里，Dify 就安装完成了，更多操作设置可以参考官方文档，Dify 和 FastGPT 基本上差不多，也可以同时安装一下 FastGPT 进行体验~Docker Compose 部署 | Dify。

大模型从最初的语言大模型逐渐发展到多模态大模型，与大模型的对话也从最初的纯文本形式的对话发展到语音、视频等多种方式的对话。那么就需要有对应的框架支持多模态的对话，这就是本篇文章的主角 TEN。TEN（Transformative Extensions Network）是一个用于创建对话式 AI 的语音代理框架。

使用自然语言界面，开发人员可以快速定义其代理的关键元素 - 目标、任务指令、工具、用于任务委派的子代理和示例 - 以轻松构建所需的系统行为。我们将使用我们的 gemini-1.5-flash-001 模型和一些简单的工具来回答用户的多阶段查询，如代码片段 8 所示。现在让我们想象一下，我们的厨师在厨房里，厨房里有一个储备充足的食品储藏室（外部数据存储库），里面装满了各种食材和食谱（示例和工具）。然而，通过利用每个基础组件的优势，我们可以创建有影响力的应用程序，扩展语言模型的功能并推动现实世界的价值。

关于函数，需要记住的一个关键点是，它们旨在为开发人员提供更多控制，不仅可以控制 API 调用的执行，还可以控制整个应用程序中的整个数据流。在图 9 的示例中，开发人员选择不将 API 信息返回给代理，因为它与代理可能采取的未来操作无关。在此特定情况下，我们将调用 Google Places API 来获取模型提供的城市并查找图像，然后将它们作为格式化的丰富内容返回给我们的用户。为了简化扩展程序的使用，Google 提供了一些开箱即用的扩展程序，这些扩展程序可以快速导入到您的项目中并以最少的配置使用。

这种与生成式 AI 模型相关的推理、逻辑和外部信息访问的组合引出了代理的概念，或者说是超越生成式 AI 模型独立功能的程序。这使他们能够支持更专业的系统，例如检索增强生成 (RAG)，这大大扩展了代理的能力，超出了基础模型本身可以实现的范围。模型可以是通用的、多模式的，也可以是根据特定代理架构的需求进行微调的。为了获得最佳生产结果，您应该利用最适合您的应用程序的模型，理想情况下，该模型已经针对与您计划在认知架构中使用的工具相关的数据签名进行了训练。包括选择正确工具的能力，以及这些工具的定义程度。

在定义函数后，代理分别注册函数。# 执行计算的函数else:# 注册方法一# assistant 注册函数调用# user_proxy 注册执行在定义函数时，代理注册函数。

检索增强生成 (RAG) 是大模型的一种扩展技术，它将大模型与外部知识检索相结合，以提高生成的响应的质量和相关性，例如：FastGPT。RAG架构图如下所示。主要流程如下所示：（1）用户（User）提出问题（Query）;（2）在数据库（Data Source）中查询与问题（Query）相关的内容，这些内容将作为 LLM 的上下文（Text），将问题（Query）和上下文（Text）一起传给 LLM；（3）LLM 根据 Data Source 中检索到的内容组织回答，最终生成回答，返回给用户；

报错原因是 conda 环境中，python 版本是 3.11.9，torch 版本是 4.66.5，应该是 python 版本有点高，将 python 降到 3.9.19，问题解决。在运行 AutoGen 样例的时候突然报错，如下所示。

str 类型，当前代理的名字；

本文主要对本地源码构建 AutoGen Studio 时的报错信息解决方法进行介绍。

本文主要介绍 AutoGen Studio 本地源码构建过程。

本文主要介绍 AutoGen Studio 本地源码构建过程中错误的解决方法。

本文主要对 AutoGen Studio 进行介绍。

本文主要对 VSCode 调试 AutoGen 时的报错进行介绍。

本文主要介绍下 AutoGen 的初步使用，通过本地运行 AutoGen 为例介绍。

本文主要介绍通过 VSCode 调试 one-api 源码。

本文接上一篇文章对具体代码进行解析。

本文简单介绍如何通过 vscode 对 FastGPT 进行调试。这里假设已经安装 vsocde 和 FastGPT本地部署。

搜索测试功能包含三种类型：语义检索、全文检索、混合检索。使用向量进行文本相关性查询，即调用向量数据库根据向量的相似性检索；使用传统的全文检索，适合查找一些关键词和主调语特殊的数据；使用向量检素与全文检素的综合结果返回，使用RRF算法进行排序。默认情况下使用语义检索，如下所示。搜索测试前可以根据“知识库搜索配置”进行相关参数的配置，例如：搜索模式、搜索过滤、问题优化等。

分词器（Tokenizer）是一种将文本拆分成一系列词汇（Token）的工具。在 NLP 中，Token 可以是一个单词、一个标点符号或者一个子词。因为大模型只能识别数字，不能识别英文单词或者汉语的表示，所以需要将其转换为数字表示，通过唯一的 ID 表示一个词，这样就可以通过 ID 来唯一标识一个词。分词器首先将连续的文本切分成离散的词（Token），然后，为每个词分配一个唯一的标识符（ID），分词器可以实现编码和解析，类似于加解密算法。

本文主要对 cli_demo.py 进行介绍。

本文主要对 ChatGLM2-6B 的运行代码进行解读。

本文主要对 ChatGLM2-6B 模型的部署和推理过程进行介绍。

优快云博客专家🏆，华为云享专家🏆，Linux、C/C++、云计算、物联网、面试、刷题、算法尽管咨询我，关注我，有问题私聊！

本篇文章主要介绍 M3E 模型的使用方法，关于M3E模型的介绍可以参考。

M3E 是 Moka Massive Mixed Embedding 的缩写。Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 uniem ，评测 BenchMark 使用 MTEB-zhMassive，此模型通过千万级 (2200w+) 的中文句对数据集进行训练；Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索；Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量。

本文以 OpenAI 模型为例，介绍 one-api 具体的处理流程，OpenAI 处理流程基本和非 OpenAI 流程一致。

one-api 关于模型的访问主要分为两种，一种是符合 OpenAI API 规则，另一种是不符合 OpenAI API 规则，其中，不符合规则的需要分别实现。本文主要以 智普AI 为例，介绍处理非 OpenAI API 的流程。下面以访问 智普AI GLM-v4 API 为例，介绍 one-api 具体处理流程。

下面对主函数的各个部分进行详细介绍。

调整 FastGPT 前端工作流页面 AI对话 组件中 AI 模型的选择，默认选择的是 gpt-3.5-turbo，如果选择了 知识库搜索 组件，也需要修改其对应的模型，修改：知识库搜索组件->搜索参数设置->问题优化-> AI模型。进行对话时 FastGPT 报错如下所示。

在调用 Embedding 模型对文档切片向量化的时候 FastGPT 出现如下错误。

本篇文章主要介绍如何在本地手动部署 FastGPT。

本文主要介绍 mongodb 和 pgvector 的安装，为了更快安装，通过 docker 的方式进行安装，本文使用的环境是 ubuntu 20.04。

重新运行 FastGPT 即可。

将 https 改为 http 即可。