pitt1997的博客

在本篇我们成功实现了基于的流式对话，让 AI 的回复能够逐步呈现，极大地提升了用户的交互体验。SSE 方案简单易用，特别适用于单向推送的场景，比如 AI 回复、系统日志推送等。然而，SSE 也存在一定的局限性，比如它是单向通信的，仅支持服务器向客户端推送数据，无法处理客户端的主动交互需求。那么，如果我们希望实现更复杂的实时双向通信（比如 AI 生成过程中用户可以中断对话、发送指令调整回复内容等），WebSocket就是一个更优的选择！在下一篇文章中，我们将深入探讨WebSocket。

本篇文章，我们介绍了 如何封装多个 LLM（大模型） API 调用 。后续，我们将完善 微服务 + 认证中心：如何保障大模型 API 的安全调用， 并且支持流式对话（SSE）增加 WebSocket 实时消息提升用户体验，敬请期待！

一款开源的本地 LLM 推理 GUI 工具支持 GGUF 格式大模型（Llama.cpp 后端）支持 GPU 加速，可用运行大模型可直接在本地进行离线 AI 对话，不依赖 OpenAI API✅LM Studio 是最简单的本地大模型推理工具之一✅支持 LLaMA / Qwen / Mistral / DeepSeek 等 GGUF 模型✅可以用 RTX 4060Ti / 4070 / 4090 跑 7B / 14B/ 32B 量化模型✅。

本文介绍了IntelliJ IDEA 接入 AI 编程助手的多种方式，包括，以及本地 AI 部署方案。开发者可根据需求、安全性、网络环境选择合适的 AI 助手。如果你有更好的 AI 代码助手推荐，欢迎在评论区交流！

本文介绍了如何在 Windows 上安装 Ollama 并运行 DeepSeek R1，包括安装、下载模型、启动本地 AI 推理，并且提供了在中调用本地 AI 模型的方法。💡本地 AI 模型的优势✅ 保护隐私，代码不会上传到云端✅ 无需依赖外部 API，断网也能用✅ 降低成本，无需订阅付费 API如果你有任何问题，欢迎在评论区交流！🔥。