【AI大模型应用开发】【LangChain系列】9. 实用技巧：大模型的流式输出在 OpenAI 和 LangChain 中的使用

已于 2024-03-22 13:39:26 修改
阅读量5.7k 收藏 28
点赞数 15
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 langchain gpt 笔记 经验分享 agi
于 2024-03-14 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Attitude93/article/details/136472189
  • 大家好，我是同学小张，日常分享AI知识和实战案例
  • 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
  • +v: jasper_8017 一起交流💬，一起进步💪。
  • 微信公众号也可搜【同学小张】 🙏

本站文章一览：

在这里插入图片描述

当大模型的返回文字非常多时，返回完整的结果会耗费比较长的时间。如果等待大模型形成完整的答案再展示给用户，明显会给用户不好的体验。所以，现在市面上大多数的AI应用，在给用户结果时，都是以流式输出的方式展示给用户的。所谓的流式输出，就是类似打字机式的方式，一个字或一个词的输出，给用户一种答案逐渐出现的动画效果。

今天我们来学习下如何流式输出大模型的返回结果。本文将涵盖 LangChain 的流式输出方式和 OpenAI 原生的流式输出方式。

文章目录

0. LangChain的流式输出 Streaming

0.1 实现流式输出

我们在 【AI大模型应用开发】【LangChain系列】实战案例4：再战RAG问答，提取在线网页数据，并返回生成答案的来源 代码的基础上，增加流式输出。

原代码：

import bs4
from langchain import hub
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.vectorstores import</
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】FastChat实现gpt一样流式输出，亲测有效！！！
m0_51538830的博客
08-17 3579
流式输出就是一边生成一边输出结果，而不需要所有的结果都输出完成。流式传输是一种HTTP协议的特性，它允许服务器在响应数据准备好之前就开始向客户端发送数据。当数据准备好之后，服务器会将其作为一个或多个“块”传输到客户端，直到响应完成。
零基础入门AI大模型应用开发——第二天：流式输出和角色扮演（提示词）（全部代码和详细部署流程）
qq_34717531的博客
07-05 1939
是指模型在生成内容时不是一次性输出全部结果，而是逐步、连续地生成输出。这种方式类似于人类在进行口语交流或写作时的思考过程，即边思考边表达。流式输出的优点包括更高的灵活性和交互性，能够在长文本生成中动态调整内容，同时允许用户在生成过程中即时提供反馈或修改指导方向。是提供给模型的输入文本，用于引导模型的输出方向和风格。简单来说，提示词就是告诉模型用户希望得到什么样的信息或回答。提示词的设定对模型的输出结果有决定性影响。通过精心设计的提示词，可以引导模型在特定领域内生成更准确、更符合预期的回答或内容。
深入理解流式输出：原理、应用与大模型聊天软件中的实现
qq_48625029的博客
08-03 1237
流式输出，从字面意义上理解，就如同水流一般，数据不是一次性全部传输或展示，而是逐段、逐部分地进行传输与呈现。具体来说，其数据传输与展示方式具有以下特点：数据并非一次性全部传输或展示，而是以小块形式逐步发送到接收端，接收端可以在接收数据的过程中，立即对已收到的数据进行处理和展示。这种方式打破了传统 “全有或全无” 的传输模式，能够显著提升数据传输与展示效率，进而改善用户体验。
让AI对话像流水般自然：深入大模型Streaming技术核心源码，大模型入门到精通，收藏这篇就足够了！
瓦罗兰特顶级C位的博客
08-21 974
让AI对话像流水般自然：深入大模型Streaming技术核心源码，大模型入门到精通，收藏这篇就足够了！
独立开发者日常：Java大模型流式输出教程
最新发布
程序员陆通
10-03 554
本文介绍了Java项目中实现AI大模型流式输出的技术方案。主要内容包括流式输出原理（SSE/WebSocket）、主流API调用方式（如OpenAI GPT-4）、Java实现方案（OkHttp/Spring SseEmitter）以及前端显示方法。文章还提供了常见问题解决建议，并对比了不同大模型（阿里Qwen、百度文心等）的流式接口特点。该方案适用于需要实时显示AI生成内容的场景，能显著提升用户体验。
AppFlow实现模型对话流式输出
AliCloudROS的博客
06-06 1194
在模型对话场景中，各种模型提供的会话页面上的流式输出效果想必大家都已经习以为常，而在钉钉群聊中如果也能实现类似的流式输出效果是不是很酷呢？现在，AppFlow已经支持了使用和的模型对话，并以流式打字机效果输出到钉钉群聊中。不用写一行代码，也几乎不用任何学习成本，跟着我的教程一步步来试试看吧！
【Langchain入门篇】LangChain中的流式调用
zzu_dcx_zzu的专栏
04-30 1529
在LangChain中，有三种处理流式调用的方式：三种流式输出方法比较：1. stream(): 同步流式输出，逐块返回响应内容- 特点：阻塞式调用，适合简单同步场景- 应用：需要立即处理结果的同步应用程序2. astream(): 异步流式输出，返回异步生成器- 特点：非阻塞式调用，适合异步框架- 应用：FastAPI等异步Web服务中实时返回响应3. astream_events(): 事件驱动的流式输出- 特点：返回完整事件流(开始/内容块/结束)
如何配置openai的返回Stream数据并转发到h5页面按markdown格式流式输出
人工智能全栈工程师 | 智能算法研发与实战落地​专注于人工智能算法研究、代码实现与工程落地，提供从模型设计到部署应用的全流程解决方案。
04-03 1万+
ChatGPT：可以使用OpenAI API的stream参数来实现流式输出，并且可以使用max_tokens参数控制每次返回数据的长度。要在前端HTML中显示Markdown格式，您可以使用一个叫做Markdown解析器的库或工具。1.首先，通过CDN或将其下载到本地文件夹中，引入一个Markdown解析器库，比如marked.js。参数来控制每次返回的数据长度，这样也可以有效的避免返回数据过长导致内存不足的问题。用户：如何配置openai返回数据，保持流式输出，可以分段加载。在这个示例中，我们将。
大模型流式输出的7种核心方法：适用场景与实现详解
2201_75798391的博客
03-20 2955
在大模型（如GPT-4、LLaMA等）应用中，流式输出（Streaming Output）是提升用户体验的关键技术。通过逐步生成内容而非等待完整结果，用户能更快感知响应，尤其在实时交互场景中尤为重要。本文将深入探讨大模型流式输出的7种核心方法，分析其适用场景，并给出具体实现方式。
用Python之requests库调用大型语言模型（LLM）API的流式输出与非流式输出比较
red2brick的博客
03-01 3981
大模型收到输入后并不是一次性生成最终结果，而是逐步地生成中间结果，最终结果由中间结果拼接而成。相比非流式输出，流式输出可以实时地将中间结果返回，您可以在模型进行输出的同时进行阅读，减少等待模型回复的时间；并且当输出内容较长时，有效降低请求超时的风险。本文给出了使用Python requests库调用大型语言模型（LLM）API的非流式输出与流式输出的简单介绍和代码实例。
【LangChain系列】9. 实用技巧：大模型的流式输出在 OpenAI 和 LangChain 中的使用
2401_86518761的博客
09-21 2382
当大模型的返回文字非常多时，返回完整的结果会耗费比较长的时间。如果等待大模型形成完整的答案再展示给用户，明显会给用户不好的体验。所以，现在市面上大多数的AI应用，在给用户结果时，都是以流式输出的方式展示给用户的。所谓的流式输出，就是类似打字机式的方式，一个字或一个词的输出，给用户一种答案逐渐出现的动画效果。今天我们来学习下如何流式输出大模型的返回结果。本文将涵盖 LangChain 的流式输出方式和 OpenAI 原生的流式输出方式。
使用Langchain、Streamlit和OpenAI构建的自定义应用程序的蓝图，允许用户与大型语言模型进行对话.zip
01-24
在本项目中，我们探索如何使用Langchain、Streamlit和OpenAI这三款强大的工具来构建一个自定义的应用程序，使用户能够与大型语言模型进行交互式的问答对话。这个应用程序基于MVC（Model-View-Controller）设计模式，...
langchain4j调用openai时失败，报错：java.net.SocketException: Connection reset...如何解决？
**My Coding Family**
04-28 1269
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，但经过精心筛选和整理，保证每一条解决方案都经过实战验证，真实可靠。
【五.LangChain技术与应用】【13.LangChain与智普大模型接入：行业领先的AI整合】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-05 401
最近半年，我一直在跟几个创业团队合作搞AI落地项目，发现一个特别有意思的现象：现在企业想用大模型干点实事，最大的痛点反而不是模型本身的能力，而是怎么把模型"塞"进现有系统里，还要塞得优雅、塞得高效。LangChain+智普这个组合，相当于既给了你高性能发动机（智普），又配了全套变速箱和悬挂系统（LangChain），这才是能真正跑起来的解决方案。某在线教育客户的实际数据：经过调优后，单日处理10万+咨询量，平均响应时间1.2秒，错误率0.03%，运营成本比用其他方案低了45%。
9. LangChain流式输出
weixin_40307696的博客
09-24 2592
一篇涵盖agent和工具的简单流到复杂流的指南。对于LLM来说，流式传输已成为一个越来越受欢迎的特性。他的理念是在生成过程中迅速返回令牌，而不是等到完整响应生成后再返回内容。对于简单的用例来说，流实际上非常容易实现，但当我们开始引入像agent这样具有自身运行逻辑的东西时，它可能变得复杂，因为这些逻辑可能会阻碍我们进行流的尝试。幸运的是，我们可以让他起作用----只是需要一些额外的努力。
逐行讲解大模型流式输出 streamer 源码
芒果不茫的博客
01-01 4266
本文详细讲解了大模型流式输出的源码实现，包括TextStreamer 基础流式输出和TextIterateStreamer 迭代器流式输出。此外，还提供了两种主流Web框架(Streamlit和Gradio)的部署方案，设计前端界面进行大模型流式输出对话演示。模型提供了本地加载以及vllm部署两种方法，帮助读者快速应用部署大模型。
大模型-qwen-turbo(流式输出)
Mooczx的博客
08-25 1571
大模型流式输出API
大模型SSE流式输出技术
JK01WYX的博客
08-09 524
摘要：大模型采用流式输出（如SSE协议）解决长响应导致的延迟问题，通过边生成边推送提升用户体验。SSE以data:开头的文本事件流格式实现单向数据传输，支持浏览器自动重连。虽然小数据块会增加网络开销，但厂商普遍采用小chunk策略以提升响应速度，利用逐步渲染的文字效果增强用户感知，且文本流带宽占用相对可控。（149字）
Langchain 流式输出到前端（真正解决方法，附最佳实践的完整代码）
热门推荐
一如年少模样丶的博客
09-10 1万+
当我们深入使用Langchain时，我们都会考虑如何进行流式输出。尽管官方网站提供了一些流式输出的示例，但这些示例只能在控制台中输出，并不能获取我们所需的生成器。而网上的许多教程也只是伪流式输出，即先完全生成结束，再进行流式输出。实际上，这个方法非常简单，但是在文档和网上教程中确实很难找到。我花费了半天的时间研究了Langchain的源码，才发现可以通过以下方式实现。方法来之不易，如果您有所收获，请。
. 如何在 FastAPI 中集成 LangChain 流式输出？
07-05
在 FastAPI 中集成 LangChain 的流式输出通常需要使用 **Server-Sent Events (SSE)** 来实现。因为 `agent.run()` 是阻塞式的，不能直接用于异步 Web 框架中，所以我们需要通过自定义回调函数将流式内容发送给客户端。 下面是一个完整的示例，展示如何在 FastAPI 中集成 LangChain 并实现流式输出： --- ### ✅ 示例代码：FastAPI + LangChain 流式输出 ```python from fastapi import FastAPI, HTTPException from fastapi.responses import StreamingResponse from langchain.agents import initialize_agent, AgentType from langchain.chat_models import ChatOpenAI from langchain.tools import Tool from langchain.callbacks.base import BaseCallbackHandler import asyncio app = FastAPI() # 自定义流式回调处理器（用于将每块响应发送到客户端） class StreamCallback(BaseCallbackHandler): def __init__(self): self.queue = asyncio.Queue() async def on_llm_new_token(self, token: str, **kwargs) -> None: await self.queue.put(token) async def get_tokens(self): while True: token = await self.queue.get() if token is None: break yield token # 示例工具 def add_tool(input_str: str) -> int: a, b = map(int, input_str.split(",")) return a + b tools = [ Tool(name="AddTool", func=add_tool, description="Useful for adding two numbers. Input should be two integers separated by comma.") ] # 初始化语言模型（不立即设置回调） llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0) # 初始化代理 agent = initialize_agent( tools=tools, llm=llm, agent=AgentType.CHAT_ZERO_SHOT_REACT_DESCRIPTION, verbose=True, handle_parsing_errors=True ) @app.post("/stream") async def stream_query(): callback = StreamCallback() # 在后台线程中运行 agent.run() async def run_agent(): try: await asyncio.get_event_loop().run_in_executor( None, lambda: agent.run("What is the sum of 5 and 7?", callbacks=[callback]) ) finally: await callback.queue.put(None) # 结束信号 # 启动 agent.run() 异步执行 asyncio.create_task(run_agent()) # 返回流式响应 async def stream_output(): async for token in callback.get_tokens(): yield token return StreamingResponse(stream_output(), media_type="text/event-stream") ``` --- ### 🔍 解释： 1. **`StreamCallback` 类**： - 继承自 `BaseCallbackHandler` - 使用 `asyncio.Queue` 缓存每个新 token - 实现 `on_llm_new_token` 方法来捕获每次生成的新 token 2. **`StreamingResponse`**： - FastAPI 提供的流式响应类 - 设置 `media_type="text/event-stream"` 表示这是一个 SSE 响应 3. **异步调用 `agent.run()`**： - 因为 `agent.run()` 是同步方法，需要用 `run_in_executor` 放入线程池中运行，避免阻塞主线程 4. **SSE（Server-Sent Events）**： - 客户端可以通过 EventSource 接收服务端推送的事件流 - 非常适合用于聊天机器人等需要逐步返回结果的场景 --- ### 🛠️ 运行方式： 1. 安装依赖： ```bash pip install fastapi uvicorn langchain openai ``` 2. 启动服务： ```bash uvicorn your_file_name:app --reload ``` 3. 访问接口： - 打开浏览器访问 `http://localhost:8000/stream`，你会看到内容逐字显示。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值