Java实现ChatGpt根据SseEmitter流式输出

背景

在工作中基于使用大模型需要进行流式输出效果，公司客服助手需要接入大模型，并传参prompt给大模型参考知识，由大模型根据理解进行答案润色，润色后的结果进行流式输出。

为什么需要使用SSE

Server-Sent Events (SSE) 使用 SseEmitter:

• SSE是基于HTTP协议的，它允许服务器端推送数据到客户端。
• SseEmitter 是Spring框架中的一个类，用于在Spring MVC应用程序中实现SSE。
• SSE仅支持单向通信，即服务器到客户端的单向数据流。
• SSE通常用于简单的事件通知和消息推送，如股票价格更新、新闻feed等。
• SSE在客户端使用简单的EventSource API进行实现，不需要复杂的协议支持。
• SseEmitter是非阻塞的，并且可以很好地和Spring的异步特性结合使用。

WebSocket:

• WebSocket是一种独立的、创建在TCP上的协议，允许全双工通信。
• WebSocket可以支持服务器到客户端和客户端到服务器的双向实时通信。
• WebSocket适用于需要复杂交互和高频率通信的应用，如在线游戏、聊天应用等。
• WebSocket在客户端和服务端都需要特定的协议支持。
• WebSocket连接一旦建立，就会保持活动状态，直到被客户端或服务器关闭。

SSE工作原理

1. 建立连接：客户端通过发送HTTP请求与服务器建立连接。在请求中，客户端指定了接收事件的终点（Endpoint）。
2. 保持连接：服务器接收到连接请求后，保持连接打开，并定期发送事件数据给客户端。
3. 事件流：服务器使用 “Content-Type: text/event-stream”
   头部标识SSE连接，并使用特定格式的数据（事件流）发送给客户端。
4. 客户端处理事件：客户端通过JavaScript的 EventSource 接口监听SSE连接，一旦接收到事件，就可以处理数据并更新页面。
5. SSE协议默认是以\n\n来作为消息的结束标志，所以需要注意消息中不能包含两个换行符，如果必须要包含的话，可以选择对换行符进行转移

SseEmitter的优势:

• 简单性: SSE在客户端的实现比WebSocket简单，因为它是基于标准的HTTP协议。
• 兼容性: 对于只需要服务器到客户端单向通信的应用，SSE更容易兼容老旧浏览器。
• 效率: 对于不需要频繁从客户端到服务器的通信的应用，SSE可能更高效，因为它没有WebSocket的握手和帧控制开销。
• HTTP友好: SSE易于通过现有的HTTP基础设施进行传输，比如可以利用HTTP缓存机制。

服务端实现SSE

1、添加pom.xml依赖 --因为Springweb中就存在SseEmitter，所以只需要引入Spring即可。

SpringBoot应用

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

若非SpringBoot应用，则可以引入以下依赖

<!-- Spring Web MVC -->
<dependency>
	<groupId>org.springframework</groupId>
	<artifactId>spring-webmvc</artifactId>
	<version>4.3.30.RELEASE</version>
</dependency>

2、创建一个Controller来处理SSE连接请求，并使用SseEmitter作为响应。

     * 建立sse连接，流式返回test
     *
     * @return
     */
    @GetMapping(value = "/streamTest")
    public SseEmitter stream() {
        log.info("======&#