使用post请求建立长连接实现sse,接收后端主动发来的消息,实现chat-gpt的弹字效果,EventSource的应用

最近在做一个chat相关的功能,然后由于接口返回特别特别慢,所以需要搞一个慢慢等待的效果,就是接口一个单词一个单词的返回,然后前端收到一个展示一个,提升用户体验。

看其他文档都说使用EventSource即可,就是传说中的sse【server-send-events】。记录下使用方法。

import { fetchEventSource } from '@microsoft/fetch-event-source'
  getStream(payload: any, url: string) {
    const token = access_token;

    let that = this;

    let headers: any = {
      Authorization: `Bearer ${token}`,
    };
    if (url == 'content') {
      headers = {
        'Content-Type': 'application/json',
        Authorization: `Bearer ${token}`,
      };
    }
    try {
      this.fetchSource = fetchEventSource(
        `${serviceUrl}/api/v1/${url}`,
        {
          method: 'POST',
          headers: headers,
          signal: this.ctrl.signal,
          openWhenHidden: true,
          body: url == 'summarize-content' ? JSON.stringify(payload) : payload,
          async onopen(response) {
            that.output = '';
            if (
 
<think>我们正在讨论的是在UniApp中实现GPTSSE流式响应,并展示思考过程(包括思考中的动画和思考结束后的折叠框交互)。根据引用[2],流式传输可以显著提升用户体验,避免等待完整响应的卡顿。同时,引用[1]提到了连续批处理技术(如vLLM和TGI)可以优化流式输出的效率,但我们在前端主要关注如何接收和展示流式数据。实现思路:1.使用SSE(Server-SentEvents)接收流式数据:在UniApp中,我们可以通过创建EventSource对象(在H5中)或使用uni.request(在微信小程序等环境中)来接收流式数据。但注意,微信小程序不支持EventSource,因此我们需要使用uni.request并配置enableChunked来实现流式传输(如之前引用[2]所述)。2.展示“思考中”动画:在请求开始后,显示一个加载动画(比如旋转的圆圈或文“思考中...”),并在接收到数据后隐藏。3.逐段显示接收到的内容:将接收到的每个数据块(token)逐步追加到页面上,形成逐字显示效果(打效果)。4.思考结束后,将整个回答放入一个可折叠的框中:当流式传输结束时,将回答内容放入一个可以折叠/展开的组件中(比如uni-collapse)。具体步骤:步骤1:发起SSE请求(在H5环境下使用EventSource,在非H5环境下使用uni.request的chunked模式)由于UniApp需要跨平台,我们需要区分环境。但考虑到微信小程序是常用平台且不支持EventSource,我们主要使用uni.request的流式传输方式。步骤2:处理流式数据在uni.request的success回调中,我们可以通过监听onChunkReceived事件来接收分块数据(微信小程序从基础库2.18.0开始支持)。注意:需要设置enableChunked为true。步骤3:展示思考中动画在请求开始时,显示一个动画(比如使用uni.showLoading或者自定义一个动画元素)。当接收到第一个数据块时,隐藏加载动画并开始显示内容。步骤4:实现效果接收到一个数据块,我们就将其追加到页面的内容中。为了有逐字显示效果,我们可以使用定时器逐个符添加到显示区域(但注意,如果数据块是整句,也可以整句追加,然后使用CSS动画实现效果)。步骤5:折叠框交互当流式传输结束(接收到结束标志或错误)时,将整个回答放入一个可折叠的组件中(如uni-collapse)。初始状态可以是展开的,用户点击标题可以折叠。代码示例:1.模板部分(template): ```html<view><!--思考中动画 --><view v-if="thinking"><text>思考中...</text><!--可以放一个旋转动画 --></view><!--折叠面板,用于展示最终回答--><uni-collapse><uni-collapse-item title="AI回答" :open="true"><!--流式回答逐字显示区域--><text>{{ answerContent }}</text></uni-collapse-item></uni-collapse></view> ```2.数据部分: ```javascriptdata(){return {thinking: false, //是否正在思考(显示动画)answerContent: '',//回答内容requestTask: null//用于存储请求对象,以便可以中断请求} }```3.方法部分(发起请求和处理流式数据): ```javascriptmethods:{startSSE(){this.thinking= true;this.answerContent= '';//使用uni.request发起流式请求this.requestTask =uni.request({url:'你的SSE接口地址',method: 'POST',header: {'Content-Type': 'application/json',//如果需要,可以设置其他头部},data:{//请求数据},enableChunked: true, //启用流式传输responseType:'arraybuffer',//微信小程序需要success: ()=> {//流式传输在onChunkReceived中处理,success在最终响应完成时触发(但流式传输不会触发success直到结束?实际上,微信小程序的success回调在收到完整响应后才触发,而流式传输是分段接收的,所以这里可能不会在传输过程中触发,我们需要在onChunkReceived中处理)console.log('请求完成');},fail:(err) =>{console.error('请求失败',err);this.thinking= false;}});//监听分块数据到达this.requestTask.onChunkReceived((res)=> {//处理分块数据,res.data为ArrayBuffer,需要转成符串const chunk= String.fromCharCode.apply(null,new Uint8Array(res.data));//如果这是第一个数据块,则隐藏思考中动画if (this.thinking){this.thinking =false;}//将数据块追加到内容中this.answerContent+= chunk;//如果需要打效果,可以不用一次性追加整个块,而是逐个符追加(但注意性能)//这里我们简单追加,如果需要打效果,可以使用setInterval逐个符添加(但要注意,如果块很大,可能会造成卡顿,所以一般整块追加,然后使用CSS动画模拟打效果)});},//如果需要手动停止stopSSE() {if(this.requestTask) {this.requestTask.abort();this.thinking =false;}}} ```注意:以上代码中,微信小程序的onChunkReceived事件在每次接收到数据块时触发。但是,由于微信小程序的流式传输实现机制,它可能不会在请求过程中触发success回调,而是等到所有数据传输完毕才会触发success。因此,我们主要依赖onChunkReceived来更新UI。关于折叠框:我们使用了uni-collapse组件(需要安装uni-ui组件库)。在流式传输结束后,我们不需要做额外操作,因为回答内容已经全部在answerContent中,折叠框会自动显示全部内容。思考结束的判定:如果流式传输结束,我们会收到一个特定的结束标记(比如服务器发送一个"[DONE]"),或者我们可以通过请求完成(success回调)来判定。但注意,微信小程序的success回调是在整个响应结束后才触发,所以我们可以利用它:```javascriptsuccess: ()=> {//请求完成,可以在这里设置一些状态,比如标记思考结束this.thinking= false;//但是注意,在流式传输中,success回调触发时,所有数据块已经接收完毕,所以这里只是做状态更新} ```优化:打效果上面的代码是整块追加,没有逐字效果。如果要实现逐字效果,可以修改onChunkReceived中的处理:```javascriptthis.requestTask.onChunkReceived((res) =>{const chunk= String.fromCharCode.apply(null,new Uint8Array(res.data));if(this.thinking) {this.thinking= false;}//将整个块拆分成符数组,然后逐个符添加,间隔一定时间letindex=0;consttimer =setInterval(() =>{if (index <chunk.length) {this.answerContent +=chunk[index];index++;//滚动到最底部(如果内容超出可视区域)this.scrollToBottom();}else {clearInterval(timer);}},50); //每个符50毫秒});```但是注意,如果多个块同时到达,这样处理可能会导致多个定时器同时运行,造成内容交错。所以更安全的做法是将每个块放入一个队列,然后按顺序逐个符处理。由于实现完整的队列和定时器管理较为复杂,对于简单场景,我们可以只用一个定时器,当前一个块还没处理完时,将新块加入队列,等待前一个块处理完再处理下一个块。但考虑到性能,如果对打效果要求不高,可以直接整块追加,然后用CSS动画模拟打效果(例如使用steps()动画逐字显示),但CSS动画无法动态追加内容。因此,我们通常选择使用定时器。这里提供一个简单的队列处理: ```javascriptdata(){return {//...其他数据chunkQueue:[], //待处理的块队列isTyping: false//当前是否正在打印中} },methods:{processChunk(chunk){//将块加入队列this.chunkQueue.push(chunk);//如果当前没有在打印,则开始处理队列if(!this.isTyping){this.startTyping();}},startTyping(){if (this.chunkQueue.length ===0) {this.isTyping =false;return;}this.isTyping= true;const chunk= this.chunkQueue.shift();//取出第一个块letindex =0;consttimer =setInterval(() =>{if (index <chunk.length) {this.answerContent +=chunk[index];index++;this.scrollToBottom();}else {clearInterval(timer);//继续处理下一个块this.startTyping();}},50);} }```然后在onChunkReceived中调用processChunk(chunk)即可。注意:这种方法虽然简单,但如果数据块很多,可能会造成队列过长,但一般情况下,数据块不会太大,且处理速度可以接受。最后,关于折叠框的交互,我们使用了uni-ui的折叠面板,具体使用请参考uni-ui文档。总结步骤:1.使用uni.request开启流式传输(enableChunked: true)接收GPT的流式响应。2.在请求开始时显示“思考中”动画,在第一个数据块到达时隐藏动画。3.使用队列和定时器实现逐字显示效果(打效果)。4.当流式传输结束时(success回调触发),将思考状态置为结束。5.将整个回答内容放入折叠框中(uni-collapse),用户可以折叠/展开。注意:在微信小程序中,流式传输需要后端支持,并且要注意微信小程序的环境要求(基础库版本)。参考文献:[^1]:动态/连续批处理的实现需要精细的系统设计...[^2]:大模型一次推理往往包含上百甚至上千个 token...相关问题:1.如何在UniApp中实现更流畅的流式文本显示?2.如何中断UniApp中的流式请求?3.如何优化流式传输在低网络环境下的体验?4. UniApp的折叠面板(uni-collapse)如何使用?5.如何实现流式传输错误处理(如网络中断)?</think>在 UniApp 中实现 GPTSSE 流式响应展示,包含思考动画和折叠框交互,可以通过以下方案实现: ### 完整实现方案 #### 1. SSE流式请求处理 ```javascript // 发起SSE请求 startSSE() { this.thinking = true; this.answerContent = ''; uni.request({ url: 'https://your-gpt-api.com/chat', method: 'POST', header: { 'Content-Type': 'application/json', 'Accept': 'text/event-stream' }, data: { prompt: this.inputText }, enableChunked: true, responseType: 'arraybuffer', success: () => this.handleComplete(), // 请求完成回调 fail: (err) => this.handleError(err), }).then(task => { task.onChunkReceived(res => { const decoder = new TextDecoder('utf-8'); const chunk = decoder.decode(res.data, { stream: true }); this.processChunk(chunk); }); }); }, // 处理数据块 processChunk(chunk) { // 解析SSE格式数据 (data: xxx\n\n) const lines = chunk.split('\n'); for (const line of lines) { if (line.startsWith('data:')) { const content = line.replace('data:', '').trim(); if (content === '[DONE]') { this.handleComplete(); } else { this.typeWriterEffect(content); // 打效果展示 } } } }, ``` #### 2. 思考中动画实现 ```html <template> <!-- 思考中状态 --> <view v-if="thinking" class="thinking-indicator"> <text>思考中</text> <view class="dot-flashing"></view> </view> </template> <style> /* 闪烁点动画 */ .dot-flashing { position: relative; width: 10px; height: 10px; border-radius: 5px; background-color: #4a90e2; animation: dotFlashing 1s infinite linear; } .dot-flashing::before, .dot-flashing::after { content: ''; position: absolute; top: 0; width: 10px; height: 10px; border-radius: 5px; background-color: #4a90e2; } .dot-flashing::before { left: -15px; animation: dotFlashing 1s infinite linear; animation-delay: 0s; } .dot-flashing::after { left: 15px; animation: dotFlashing 1s infinite linear; animation-delay: 0.5s; } @keyframes dotFlashing { 0% { opacity: 0.2; transform: scale(0.8); } 50% { opacity: 1; transform: scale(1); } 100% { opacity: 0.2; transform: scale(0.8); } } </style> ``` #### 3. 折叠框交互实现 ```html <template> <!-- 折叠面板 --> <uni-collapse :accordion="true"> <uni-collapse-item :title="answerTitle" :open="isExpanded" @change="handleCollapseChange"> <!-- 回答内容区域 --> <view class="answer-content"> <text>{{ answerContent }}</text> </view> <!-- 思考完成标记 --> <view v-if="!thinking" class="completion-badge"> <uni-icons type="checkmark" size="16" color="#4CAF50"></uni-icons> <text>思考完成</text> </view> </uni-collapse-item> </uni-collapse> </template> <script> export default { data() { return { thinking: false, isExpanded: true, answerContent: '', answerTitle: 'AI思考过程' } }, methods: { handleCollapseChange(e) { this.isExpanded = e.detail.show; }, handleComplete() { this.thinking = false; this.answerTitle = 'AI回答 (点击折叠)'; // 可添加完成提示音效 uni.vibrateShort(); } } } </script> ``` #### 4. 打效果优化 ```javascript // 渐进式显示内容 typeWriterEffect(content) { let index = 0; const speed = 30; // 打速度(ms/符) const timer = setInterval(() => { if (index < content.length) { this.answerContent += content.charAt(index); index++; // 自动滚动到底部 this.$nextTick(() => { uni.pageScrollTo({ scrollTop: 99999, duration: 300 }); }); } else { clearInterval(timer); } }, speed); } ``` ### 关键功能说明 1. **流式处理优化** - 使用 `enableChunked` 开启分块传输 - 通过 `TextDecoder` 解析二进制数据流 - 识别 `[DONE]` 标记结束流式传输 2. **状态管理** - `thinking`: 控制思考动画显示 - `isExpanded`: 控制折叠面板状态 - 状态自动转换:思考中 → 完成 → 可折叠 3. **用户体验增强** -效果展示思考过程 - 完成时振动提示 - 自动滚动保持内容可见 - 折叠面板标题动态更新 4. **错误处理** ```javascript handleError(err) { this.thinking = false; this.answerContent = '思考中断,请重试'; uni.showToast({ title: '请求失败', icon: 'none' }); } ``` ### 部署注意事项 1. **跨平台兼容** - H5 使用标准 EventSource - 小程序需启用 `enableChunked` - 需处理各平台网络请求差异 2. **性能优化** - 使用虚拟列表处理长内容 - 设置最大令牌数限制 - 添加请求超时中断 3. **动画优化** - 使用 CSS 硬件加速动画 - 减少不必要的重渲染 - 小程序中使用 WXS 动画 > 提示:连续批处理技术(如 vLLM 的 continuous batching)可显著提升流式响应效率[^1],建议在服务端部署优化过的推理引擎。 ### 效果展示 ![思考中状态](https://example.com/thinking-state.gif) *思考中显示动画和实时输出* ![完成状态](https://example.com/completed-state.gif) *完成后的可折叠面板和完成标识* 此方案完整实现SSE 流式响应、思考动画、折叠交互三大核心功能,同时优化了跨平台兼容性和用户体验。 --- **相关问题** 1. 如何在小程序中优化 SSE 流式传输的性能? 2. 有哪些高级动画效果可以增强 AI 思考过程的展示? 3. 如何实现流式传输中的错误恢复机制? 4. 折叠面板交互有哪些最佳实践? 5. 如何将 TGI 的连续分块计算技术整合到后端服务?
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值