SSE实现消息实时推送,前端渐进式学习、实践,真香,零基础入门到精通,收藏这篇就够了

一、SSE概念

SSE(Server Sent Event),直译为服务器发送事件,顾名思义,也就是客户端可以获取到服务器发送的事件。我们常见的 http 交互方式是客户端发起请求,服务端响应,然后一次请求完毕;但是在 sse 的场景下,客户端发起请求,连接一直保持,服务端有数据就可以返回数据给客户端,这个返回可以是多次间隔的方式

二、SSE应用场景

在web端消息推送功能中,由于传统的HTTP协议是由客户端主动发起请求,服务端才会响应。基本的ajax轮询技术便是如此。而在SSE中,浏览发送一个请求给服务端,通过响应头中的Content-Type:text/event-stream等向客户端声名这是一个长连接,发送的是流数据,这样客户端就不会关闭连接,一直等待服务端发送数据。

如果服务器返回的数据中包含了事件标识符,浏览器会记录最后一次接收的事件的标识符。如果与服务器的连接中断,当浏览器再次进行连接时,会通过头来声明最后一次接收的事件的标识符。服务器端可以通过浏览器发送的事件标识符来确定从哪个事件来继续连接

三、前端使用方法、问题
1、get方式

使用eventsource完成get请求

缺点:客户端无法通过一个get请求完成数据传递

参考文档:

EventSource - Web API 接口参考 | MDN

实现流程:

  1. 后端提供了两个接口,一个是:post,用以完成前端信息的传递,我这边是做大语言模型的,所以包括了模型必要参数、问题等;二、get接口,完成流式输出的接口,配置相应的具名事件、请求头等
  2. 前端通过调用post接口拿到本次会话id,将id携带在get请求里,完成信息传递
  3. 前端处理SSE流式返回

代码实现:

const eventSourceRef = useRef<any>(null)
const contact = async (messageData: any) => {
  eventSourceRef.current = new EventSource(
    `${API_BASE}/v1/model/stream?id=${id}`,
  )
  if (!eventSourceRef.current) return
  // 监听 SSE 事件,因为后端定义了具名事件,所以这儿要用addEventListener监听,而不是onmessage
  eventSourceRef.current.addEventListener('add', function (e: any) {
	// 处理数据展示
  })
  eventSourceRef.current.addEventListener('finish', function (e: any) {
   // 结束标识finish
    eventSourceRef.current.close() // 关闭连接
  })
  eventSourceRef.current.addEventListener('error', function (e: any) {
    if (e.status === 401) {
      // 用户登录状态失效处理
    }
    // error报错处理
    console.log('Error occurred:', e)
    // 关闭连接
    eventSourceRef.current.close()
  })
}

2、post方式

使用fetch-event-source完成连接,仅需一个接口,支持添加请求头

缺点:在浏览器返回的text/eventstream里看不到具体返回,无法进行预览

参考文档:

@microsoft/fetch-event-source

实现流程:

  1. 后端提供一个接口,支持前端传参、流式返回
  2. 前端通过fetch-event-source,完成传参、请求头添加等
  3. 处理返回数据

具体实现:

  const eventSourceRef = useRef<any>(null)
  const [abortController, setAbortController] = useState(new AbortController())
  // 通信事件
  const contact = async (messageData: any) => {
    messageData = { ...messageData, do_stream: modelArg.do_stream } // 请求参数
    receivedDataRef.current = ''
    const token: string = getLocal('AUTHCODE') || '' 
    fetchEventSource(`${MAAS_API_BASE}/v1/model_api/invoke`, {
      method: 'POST',
      // 添加请求头
      headers: {
        Authorization: token,
        'Content-Type': 'application/json',
      }, 
       // 传参必须保证是json
      body: JSON.stringify(messageData),
      // abortController.signal 提供了一个信号对象给 fetchEventSource 函数。
      // 如果在任何时候你想取消正在进行的 fetch 操作,你可以调用 
      // abortController.abort()。这会发出关联任务的信号,你可以使用 
      // AbortController 的信号来检查异步操作是否已被取消。
      signal: abortController.signal, 
      openWhenHidden: true, // 切换标签页时连接不关闭
      async onopen(resp) {
        // 处理登录失效
        if (resp.status === 401) {
          message.warning('登录过期')
          return
        }
      },
      onmessage(msg: any) {
        const eventType = msg.event // 监听event的具名事件
        switch (eventType) {
          case 'add':
            // 流式输出事件,add每次会返回具体字符,前端负责拼接展示
            break
          case 'finish':
            setStatu('finish') // 结束标识
            break
          case 'error':
            if (msg.status === 401) {
               message.warning('登录过期')
            }
            console.log('Error occurred:', e)
            break
        }
      },
      onerror(err) {
        throw err // 连接遇到http错误时,如跨域等,必须要throw才能停止,不然会一直重连
      },
      onclose() {},
    })
  }

  // 终止连接方法,比如在切换模型时,你可能有必要终止上一次连接来避免问答串联
  const closeSSE = () => {
    abortController.abort()
    setAbortController(new AbortController())
  }

3、一种接口同时兼容流式/非流式

同上post方法

    fetchEventSource(sseUrl, {
      method: 'POST',
      headers,
      signal: abortController.signal,
      body: JSON.stringify(customInferData),
      openWhenHidden: true,
    /**
    *在onopen阶段处理
    第一步:判断resp.headers.get('content-type'),如果不包含text/event-stream,
    则代表非流式
    第二步:需要在onopen阶段处理非流式返回,即json返回,读取json返回并渲染,注意异常也要处理
    第三步:
     */
      async onopen(resp) {
        const contentype = resp.headers.get('content-type') || ''
        console.log('contentype =>', contentype)
        console.log('resp.ok =>', resp.ok)
        if (resp.ok && !contentype.includes('text/event-stream')) {
          // 读取json数据
          const responseData = await resp.json()
          if (responseData.code !== 0) {
             // 报错处理+关闭连接
          } else {
            //处理数据渲染+关闭连接
            
            stopSession()
          }
        } else if (resp.status === 401) {
          message.warning('登录过期')
          // 报错处理+关闭连接
          stopSession()
        
        }
      },
      onmessage(msg: any) {
        const eventType = msg.event
        const messages: any = cloneDeep(chatState.sessionMessages)
        let lastMessage: any = messages[messages.length - 1] || {}

        switch (eventType) {
          case 'add':
            lastMessage = {
              ...lastMessage,
              text: `${lastMessage.text}${msg.data || ' '}`,
              loading: false,
            }
            messages.splice(messages.length - 1, 1, lastMessage)
            chatAction.updateSessionMessages(messages)
            break
          case 'finish':
            console.log('finish lastMessage =>', lastMessage)
            chatAction.updateSessionStatu(SessionStatuTypes.ready)
            chatAction.updateContext(msg.data)
            break
          case 'info':
            {
              const messages: any = cloneDeep(chatState.sessionMessages)
              let lastMessage: any = messages[messages.length - 1] || {}
              lastMessage = {
                referenceDocs: JSON.parse(msg.data).reference_by_docs,
                ...lastMessage,
              }
              messages.splice(messages.length - 1, 1, lastMessage)
              chatAction.updateSessionMessages(messages)
            }
            break
          case 'error':
            if (msg.status === 401) {
              chatAction.updateSessionStatu(SessionStatuTypes.ready)
            } else {
              errorItemFn(msg?.msg || msg?.data || '抱歉,暂无法回答问题')
            }
            break
        }
      },
      onerror(err: any) {
        errorItemFn(err?.msg || '抱歉,暂无法回答该问题')
        console.log('eventSource error: ', `${err}`)
        throw err  // 连接遇到http错误时,如跨域等,必须要throw才能停止,不然会一直重连
      },
      onclose() {
        console.log('eventSource close')
      },
    })

  // 终止会话
  const stopSession = () => {
    abortController.abort()
    setAbortController(new AbortController())
  }

四、常见问题汇总
1、无法添加请求头

应用fetch-event-source解决

2、一个方法需要同时兼容流式和非流式

应用fetch-event-source在onopen阶段处理非流式输出,如报错、接口json返回等

3、遇到跨域时候,请求一直连接

应用fetch-event-source在监听具名事件时,如error,将错误throw err,否则无法中断连接

4、使用SSE时,前端引入markdown渲染时发现后端response data里的前置空格被忽略

服务器响应状态码应该为 200,header 为Content-Type: text/event-stream,然后保持此连接并以一种特殊的格式写入消息,就像这样:

data: Message 1

data: Message 2

data: Message 3
data: of two lines

data:后为消息文本,冒号后面的空格是可选的。

这个可选便是主要原因。查询社区后,找到了两种解决办法:

  • 第一种:data后面的用json字符串返回,前端接收时转成对象拿到里面的content渲染。

    ???????如:data: {"content":"? ?1234"}
    
    
  • 第二种:使用开源社区的@echofly/fetch-event-source插件替换fetch-event-source,微软的这个插件已经很久没维护了,所以对这个问题还没解决。使用方法和fetch-event-source一木一样,只需要更改引入即可。
    参考链接:@echofly/fetch-event-source - npm

  • 第三种:失败。考虑把空格替换为转义字符,前端无需加任何处理可以直接显示。空格的问题是解决了,但是对代码块等特殊输出带来了影响,使其空格无法展示。

具体表现,点击放大查看:

5、fetch方法如何终止
  const stopSession = () => {
    abortController.abort()
    setAbortController(new AbortController())
  }

2025开年,AI技术打得火热,正在改变前端人的职业命运:

阿里云核心业务全部接入Agent体系;

字节跳动30%前端岗位要求大模型开发能力;

腾讯、京东、百度开放招聘技术岗,80%与AI相关……

大模型正在重构技术开发范式,传统CRUD开发模式正在被AI原生应用取代!

最残忍的是,业务面临转型,领导要求用RAG优化知识库检索,你不会;带AI团队,微调大模型要准备多少数据,你不懂;想转型大模型应用开发工程师等相关岗,没项目实操经验……这不是技术焦虑,而是职业生存危机!

曾经React、Vue等热门的开发框架,已不再是就业的金钥匙。如果认为会调用API就是懂大模型、能进行二次开发,那就大错特错了。制造、医疗、金融等各行业都在加速AI应用落地,未来企业更看重能用AI大模型技术重构业务流的技术人。

如今技术圈降薪裁员频频爆发,传统岗位大批缩水,相反AI相关技术岗疯狂扩招,薪资逆势上涨150%,大厂老板们甚至开出70-100W年薪,挖掘AI大模型人才!

在这里插入图片描述

不出1年 “有AI项目开发经验”或将成为前端人投递简历的门槛。

风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!

大模型目前在人工智能领域可以说正处于一种“炙手可热”的状态,吸引了很多人的关注和兴趣,也有很多新人小白想要学习入门大模型,那么,如何入门大模型呢?

下面给大家分享一份2025最新版的大模型学习路线,帮助新人小白更系统、更快速的学习大模型!

2025最新版优快云大礼包:《AGI大模型学习资源包》免费分享**

一、2025最新大模型学习路线

一个明确的学习路线可以帮助新人了解从哪里开始,按照什么顺序学习,以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1级别:AI大模型时代的华丽登场

L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理,关键技术,以及大模型应用场景;通过理论原理结合多个项目实战,从提示工程基础到提示工程进阶,掌握Prompt提示工程。

L2级别:AI大模型RAG应用开发工程

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3级别:大模型Agent应用架构进阶实践

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体;同时还可以学习到包括Coze、Dify在内的可视化工具的使用。

L4级别:大模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调;并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握;而L3 L4更多的是通过项目实战来掌握大模型的应用开发,针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

二、大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

三、大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

四、大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。


因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2025最新版优快云大礼包:《AGI大模型学习资源包》免费分享

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值