LLM流式方案解决方案和客户端解决方案

原创

已于 2024-05-21 12:51:25 修改 · 1.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#LLM #JS #Java

于 2024-03-18 17:03:25 首次发布

即刻关注，获取更多

关注公众号 N学无止界 获取更多

背景

接上一篇《LLM大模型统一封装接口解决方案》架构确定后，流式方案非常规请求，需要特殊处理。

本解决方案就是针对上一篇中所需要的流式（打字机效果进行编码）

什么是SSE

SSE（Server-Sent Events，服务器发送事件）是一种基于HTTP的服务器到客户端的单向通信技术，用于实现服务器向客户端推送数据的功能。SSE协议标准由HTML5规范定义，并且其定义被包含在HTML Living Standard中。

SSE允许服务器通过HTTP连接向客户端发送数据，而无需客户端发起请求。这使得SSE非常适合于实时通信或推送通知给客户端的应用程序，例如实时股票报价、即时通讯、实时监控等场景。

基本上，SSE由以下要素组成：

服务器：负责向客户端发送事件流的HTTP服务器。
客户端：通过浏览器中的EventSource API与服务器建立连接，接收服务器发送的事件。
事件流（Event Stream）：服务器向客户端发送的数据流，格式为纯文本，使用一种特定的格式进行编码，例如MIME类型为"text/event-stream"。

SSE的优点包括简单易用、实现方便、跨浏览器支持良好等。然而，它也有一些限制，例如不能支持双向通信，与WebSocket相比，SSE的实时性稍逊一筹。

Java框架说明

pom 文件引入的核心依赖包

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.7.0</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>aip.com</groupId>
    <artifactId>aip-com</artifactId>
    <version>0.0.1</version>
    <name>aip-com</name>
    <description>aip com project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-webflux</artifactId>
        </dependency>

        <dependency>
            <groupId>io.reactivex.rxjava2</groupId>
            <artifactId>rxjava</artifactId>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>