gradio之持续输入,持续输出(流式)

流式输出yield,比如一个输出控件,想要实时显示内容,用return for循环一次就返回去了。而用yield会持续更新往下执行

for i in range(length):
     time.sleep(8)
     yield '总共'+str(length)+'条语料,已运行'+str(i+1)+'条'

在Gradio中,某些组件(如音频和图像组件)可以以“streaming”(流式)模式运行。这意味着数据会被连续不断地发送到后端,并且接口函数会被持续不断地重新运行。例如麦克风模式下的 Audio 组件,或网络摄像头模式下的 Image 组件。

  • gr.Audio(source='microphone'),live=True:默认模式,用户录音结束后,数据会自动提交并运行接口函数。也就是说,接口函数是在用户完成录音并停止后才被调用一次。
  • gr.Audio(source='microphone', streaming=True),live=True:录音过程中,数据会被连续发送,接口函数也会在录音过程中不断被调用。这意味着每当有新的音频数据,接口函数就会立即处理。

流入输如。比如录像输入

import gradio as gr
import numpy as np

def flip(im):
    return np.flipud(im)

demo = gr.Interface(
    flip, 
    gr.Image(sources=["webcam"], streaming=True), 
    "image",
    live=True
)
demo.launch()

这段代码创建了一个接口,将每帧图像(通过gr.Image组件从网络摄像头获取,并启用了streaming=True)传递给 flip 函数进行处理,然后显示翻转后的图像。live=True表示接口在实时运行

### 如何在 Gradio 中实现流式输出 Gradio 是一种用于快速构建机器学习模型交互界面的工具,支持多种数据类型的输入输出。为了提升用户体验并减少长时间等待的情况,在某些场景下可以采用 **流式输出** 的方式来逐步返回结果。 #### 1. 流式输出的核心概念 流式输出是指程序不等到整个计算过程完成后再一次性返回结果,而是通过分批次的方式将部分中间结果实时传递给前端用户[^1]。这种方式特别适合于耗时较长的任务,例如大语言模型生成、视频处理或音频转录等。 #### 2. 使用 `gr.Chatbot` 或自定义组件实现流式输出 Gradio 提供了一些内置功能可以帮助开发者轻松实现流式输出的效果。以下是两种常见的方法: ##### 方法一:利用 `gr.Chatbot` 组件 对于对话类应用,推荐使用 `gr.Chatbot` 来模拟聊天机器人行为。它能够很好地适配逐句显示的结果效果。 ```python import gradio as gr from transformers import pipeline def chat_stream(message, history): pipe = pipeline('text-generation', model='gpt2') # 替换为你自己的模型路径 response_text = "" for word in pipe(message, max_length=50)[0]['generated_text'].split(): response_text += f"{word} " yield response_text # 这里每次只发送一部分文本到前端 with gr.Blocks() as demo: chatbot = gr.Chatbot() msg = gr.Textbox(label="Enter your message here:") clear = gr.ClearButton([msg, chatbot]) def respond(message, history): bot_message = "" for chunk in chat_stream(message, history): bot_message += chunk yield "", history + [[message, bot_message]] msg.submit(respond, [msg, chatbot], [msg, chatbot]) demo.launch(debug=True) ``` 这段代码展示了如何设置一个简单的聊天框,并让其具备流式更新的能力[^1]。 ##### 方法二:手动控制进度条或其他动态反馈机制 除了文字外,还可以借助其他形式向用户提供即时状态提示,比如加载动画或者百分比指示器。 ```python import time import gradio as gr def progress_update(value): total_steps = 100 current_step = int((value / (total_steps - 1)) * 100) with gr.Progress(current_step=current_step) as pbar: while not pbar.finished: next_value = min(total_steps - 1, value + random.randint(5, 15)) yield {"progress": next_value} time.sleep(.2) if next_value >= total_steps - 1: break with gr.Blocks() as app: slider_input = gr.Slider(minimum=0, maximum=99, step=1, label="Progress Value") output_progress = gr.JSON() button_start = gr.Button("Start Progress") button_start.click(progress_update, inputs=[slider_input], outputs=output_progress) app.queue().launch(server_name="localhost", server_port=7860, debug=True) ``` 此脚本演示了一个带有可调节滑动杆的小部件,当点击按钮后会启动后台任务并通过 JSON 输出当前进展状况[^3]。 #### 注意事项 - 如果涉及多媒体文件(如图片、声音),可能还需要额外配置服务器端存储以及客户端渲染逻辑。 - 对于更复杂的流水线操作,建议结合 Transformer 库中的异步 API 和事件驱动架构设计解决方案[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值