langchain4j+springboot流式输出

最新推荐文章于 2025-10-11 14:50:01 发布

原创

最新推荐文章于 2025-10-11 14:50:01 发布 · 1.2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #后端 #java

序

本文主要研究一下langchain4j+springboot如何实现流式输出

步骤

pom.xml

        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-reactor</artifactId>
            <version>$1.0.0-beta1</version>
        </dependency>

application.yaml

langchain4j:
  ollama:
    streaming-chat-model:
      base-url: http://localhost:11434
      model-name: deepseek-r1:8b

配置了langchain4j.ollama.streaming-chat-model.base-url的配置就可以自动开启并注入streamingChatModel

controller

    @Autowired
    StreamingChatLanguageModel streamingChatModel;

    @GetMapping("/stream")
    public Flux<String> stream(@RequestParam("prompt") String prompt, HttpServletResponse response) {