【Chat GPT 助理Assistant 流式输出 使用工具】

已于 2024-04-02 11:37:15 修改
阅读量488 收藏
点赞数 7
分类专栏： chatgpt 文章标签： gpt
于 2024-04-02 11:28:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaogang_1994/article/details/137262447
版权

废话不多说直接上思路
在这里插入图片描述
这是我在做助理流式输出所遇到的问题,希望你不要遇到
开始的想法就是直接把用户的流直接对接到openai的返回流上了,
这样满足不了工具接口的调用,并且openai需不需要调用工具并不是确定的,所以不要被以前的对话方式给误导了,
现在采用中间流做控制,需要给用户时在转发,需要处理工具的时候就收集信息
还有一个就是我是java调用操作数据没有那么方便,不像python,没有数据类型的概念
openai给的流数据是多种的 我们只需要关注两种类型的就可以了
1.流类型是thread.message.delta, 这种的就是需要给用户返回的
2.流类型是thread.run.requires_action,这种的就是需要调用工具的
希望可以帮助到大家. 不要在趟我已经趟过得路了,感觉有帮助,就点个赞呗! 有问题联系我QQ:375823591

Unity 工具 之 Azure 微软 【GPT4o】HttpClient 异步流式请求的简单封装
仙魁XAN
06-20 1300
Unity 工具类，自己整理的一些游戏开发可能用到的模块，单独独立使用，方便游戏开发。本节介绍，这里在使用微软的Azure 进行语音合成的两个方法的做简单整理，这里简单说明，如果你有更好的方法，欢迎留言交流。面向学生的 Azure - 免费帐户额度 | Microsoft Azure技术文档 | Microsoft LearnAzure OpenAI 服务模型 - Azure OpenAI | Microsoft LearnGPT-4o 和 GPT-4 Turbo。
使用 GPT-4o 的视觉功能 使用 Python 和 OpenAI API
iCloudEnd的博客
05-22 1096
OpenAI的新旗舰型号GPT-4o已经上市整整两天了！它的视觉功能非常重要，我想对其进行测试，那么还有什么比使用 OpenAI 的 API 与模型交互更好的方法呢？这样我们就可以一石二鸟——测试 API 和新模型的图像处理。我们将通过两个示例来强调该模型的视觉特征。在一个中，我们将处理静态图像，在另一个中处理视频。对于我们的第一个用例，我们将为模型提供几何数学问题的图片，看看它是否可以解决该问题。在我们的第二个用例中，我们将要求 GPT-4o 总结和描述视频的内容。
Spring AI教程（二）Chat API之流式输出
qq_41481367的博客
04-22 4666
什么是流式对话？流失对话的核心就是流式传输，AI的响应数据是一点一点传过来的，不用等AI将文本全部生成出来了才传过来。一定程度上能够提高使用上的响应速度，给用户一个非常好的体验。
ChatGPT应用：函数调用（function_calling）配合流式输出示例代码
薄荷你玩的博客。个人博客：薄荷分享【www.bhshare.cn】
01-26 1483
【代码】ChatGPT应用：函数调用（function_calling）配合流式输出示例。
Open AI之Chat Completion中的stream流式
MilkLeong的博客
07-28 1496
最近需要调用Open AI的API，对openai.ChatCompletion.create()函数的输入流stream参数不太了解，网上查看了一些资料，记在这里。由于我购买的API支持的openai的版本较低，代码中涉及的函数可能只对低版本的openai第三方库有效。对stream流式的原理进行了较为详细的介绍。简言之，当设置stream = False 时响应是一个json格式的数据块，以message的形式整体输出；有stream = False 和stream = True 的详细代码示例。
FastAPI：协程与流式返回的用法
全世界的博客
05-17 1983
在现代Web开发中，处理并发请求和大规模数据传输的需求日益增长。FastAPI，一个基于Python的高级Web框架，利用了Python的异步特性，如asyncio，来实现高效的并发处理和流式数据传输。本文将深入探讨FastAPI中的协程机制，以及如何通过协程和流式返回处理大规模数据。
探索流式工具调用：实现实时数据流解析
nseejrukjhad的博客
09-18 546
流式工具调用能够显著提高应用程序的响应速度和性能，尤其适用于实时数据流需求。建议开发者深入研究流式数据处理框架和API服务，以更好地理解和应用这些技术。LangChain 文档OpenAI API 文档。
PHP实现chatGPT流式输出代码，OpenAI对接，支持GPT3.5/GPT4
qq_35627940的博客
06-05 3724
【代码】PHP实现chatGPT流式输出代码，OpenAI对接，支持GPT3.5/GPT4。
采用流式输出搭建chatgpt网站，无需搭建js服务，逐字输出，加快响应速度
qq_17858343的博客
06-25 2213
无需创建js服务，方便把已有的非流式输出代码改为流式代码，提高响应速度，浏览器指纹统计用户
ChatGpt接口流式输出解决方案
漫漫漫漫的博客
03-08 2216
【代码】ChatGpt接口流式输出解决方案。
ChatGLM2-6B流式输出的报错修复
人工智能
10-12 1614
代码中使用了chunk.json，这个已经过时了，再次启动，运行，则不会报错！
openai库 及LangChain 跟ChatGPT对话的主要接口
bigcarp的专栏
02-07 1503
API 方法适用场景主要参数适用模型ChatGPT 对话gpt-4传统文本补全文本/代码编辑input文本向量化内容审核💡如果你是 FastAPI 开发者（用于聊天应用）（用于搜索、推荐系统）（用于用户内容审核）在LangChain框架中，提交提示词（Prompt）等内容给ChatGPT的主要函数/接口如下：在LangChain框架中，提交提示词（Prompt）等内容给ChatGPT1️⃣ChatOpenAI（用于 ChatGPT 对话模型）ChatOpenAI。
两个非常好用的流式输出工具fastapi和langchain
qq_34171593的博客
11-12 670
【代码】两个非常好用的流式输出工具fastapi和langchain。
OpenAI最新官方GPT最佳实践指南，一文讲清ChatGPT的Prompt玩法
张伟的专栏
11-03 3030
在需要的情况下，可以指示模型编写和运行代码，而不是进行自己的计算。您的任务是仅使用提供的文件回答问题，并引用用于回答问题的文件中的段落。例如，如果用户询问有关特定电影的问题，将有关电影的高质量信息（例如演员、导演等）添加到模型的输入中可能会很有用。使用基于模型的评估可以实际评估的内容与需要人工评估的内容之间的界限是模糊的，并且随着模型变得更强大而不断变化。一旦输入的大小达到预定的阈值长度，这可能会触发一个查询，该查询总结了部分对话，并且先前对话的摘要可以作为系统消息的一部分包含在内。
基于GPT-SoVITS-v4-TTS的音频文本推理，流式生成
最新发布
Mr数据杨
06-02 599
本文详细介绍了“GPT-SoVITS”语音克隆项目的全流程，从数据处理到模型训练及推理部署。首先，强调了高质量语音数据集对模型效果的重要性，并展示了如何通过UVR5、语音切分、降噪、ASR识别等工具进行数据预处理。接着，介绍了如何使用Anaconda配置GPU版本的PyTorch环境，并下载GPT-SoVITS源码及预训练模型。在模型训练阶段，详细说明了数据格式化、微调训练及模型管理的步骤。最后，通过启动后端服务和前端合成程序，用户可以进行音频合成操作。整个流程高度自动化，覆盖了从原始语音到生成模型的完整步
TDengine 基于 TDgpt 的 AI 应用实战
TDengine(老段）专注时序数据库领域
06-01 931
analyse.sh脚本用于在 TDengine 数据库上执行时间序列预测和异常检测分析，支持滑动窗口算法处理。时间序列预测 ：使用 HoltWinters 等算法进行未来值预测。异常检测 ：使用 k-Sigma 等算法识别数据异常点。自动窗口滑动 ：支持自定义窗口大小和步长进行连续分析。
Python对接GPT-4o API接口：聊天与文件上传功能详解
微刻
05-29 1269
本文详细介绍了如何使用Python语言对接GPT-4o API接口，实现聊天和文件上传功能。通过代码示例，展示了如何利用GPT-4o的强大语言能力进行自然流畅的对话，以及如何将文件内容整合到处理流程中。文章从接口概述、准备工作到具体实现步骤，为开发者提供了清晰的指导，帮助其快速上手并应用到实际项目中。
研华工控机安装Windows10系统,适用UEFI（GPT）格式安装
。
05-30 480
摘要：本文介绍使用研华AIMB-784主板(i5-6500处理器)安装Win10系统的流程。首先通过百度网盘获取Rufus启动工具(rjmu提取码)和Win10 22H2专业版镜像(9ids提取码)制作启动U盘。系统安装时需参考优快云博客《研华AIMB-787主板设置RAID1和安装Win10系统》从第12步开始操作，包含RAID1阵列配置等关键步骤。全文提供完整工具下载链接和简明安装指引。（147字）
T5和GPT哪个更强大
weixin_67075116的博客
05-29 595
维度📌 模型类型编码器-解码器（Encoder-Decoder）解码器-only（Decoder-only）🎯 训练目标将一切任务转化为“文本到文本”的转换问题（如翻译、摘要、QA）语言建模（预测下一个 token）💡 设计理念通用统一框架：“所有 NLP 任务 = 文本 → 文本”自回归生成器：强在自然生成与上下文理解📚 预训练数据C4 数据集（Colossal Clean Crawled Corpus）WebText, Common Crawl, Books, Code 等。
python 实现chatgpt流式输出
10-06
为了实现 ChatGPT 的流式输出，你可以使用 OpenAI 的 Python 包 `tiktoken` 来计算生成文本的令牌数，并限制输出的长度。然后，你可以使用 OpenAI 的 `openai.ChatCompletion.create()` 方法进行多轮对话。 以下是一个示例代码，展示了如何实现 ChatGPT 的流式输出： ```python import openai from tiktoken import Tokenizer # 设置 OpenAI API 密钥 openai.api_key = 'YOUR_API_KEY' # 初始化 ChatGPT 对话 def start_chat(): response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are a helpful assistant."}, ] ) return response['choices'][0]['message']['content'] # 继续对话 def continue_chat(message): response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": message}, ] ) return response['choices'][0]['message']['content'] # 流式输出 def stream_output(response): tokenizer = Tokenizer() tokens = tokenizer.tokenize(response) token_count = len(tokens) if token_count > 50: response = tokenizer.detokenize(tokens[:50]) remaining_tokens = tokens[50:] yield response while len(remaining_tokens) > 0: chunk = remaining_tokens[:50] response = tokenizer.detokenize(chunk) remaining_tokens = remaining_tokens[50:] yield response # 示例对话 def chat(): print("Assistant:", start_chat()) print() message = input("User: ") while message != 'bye': response = continue_chat(message) for chunk in stream_output(response): print("Assistant:", chunk) message = input("User: ") print("Assistant: Goodbye!") # 运行示例对话 chat() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值