stephen147的博客

最后，还是觉得有几点放到总结里头的，方便回顾时直接跳到最后方使用 FastAPI 直接用 Uvicorn 启动就行，代码或 uvicorn 方式都行。而不像代码启动 Flask 真的只能用于开发过程，产品环境必须用 uwsgi 或 gunicornFastAPI 的 async API 方法都由 MainThread 调用，因此其中调用的外部耗时方法必须也都是 async，并以 await 方式调用，否则一个请求拦住所有的其他请求。

在本文中，我们将介绍一些可以作为开发人员使用的流行通信协议，并探讨不同协议的优缺点。正如开头所说，没有比另一个更好的解决方案，只有一些解决方案更适合特定的应用程序或问题。一些应用程序需要点对点连接，具有低延迟和高数据传输，并且可以接受一些数据包（信息）丢失。有些应用程序可以根据需要轮询服务器，而不需要获取被‬轮询方的同等数据，有些应用程序需要具有数据可靠性的实时通信，诸如此类。在线多人游戏、消息传递应用程序、博客网站、媒体库应用程序和视频会议软件都有不同的通信和数据需求。

原理：**在python 中，使用async def 定义的函数是运行在协程中，而多个协程是在一个主线程中的。fastapi中的async def协程路由处理的请求会全部放在main thread，而def 处理的请求每个都有自己的独立线程，fastapi内部会自动为这两种接口进行对应的处理逻辑 **我们来详细看一下各种情况。本文将使用。

关于_路径操作函数_的async def语法以及一些关于异步代码、并发和并行性的背景知识。

socket是网络上运行的两个程序之间的双向通信链路的一个端点。这是一个非常低级的东西，其他一切都是在 TCP 套接字之上实现的。WebSocket 是 Web 的标准通信协议。它允许在客户端和服务器之间建立全双工通信通道。Socket.IO 是一种构建的通信协议，提供自动重新连接、基于事件的通知等额外功能。Flask-SocketIO 是 Socket.IO 服务器端协议的实现，作为 Flask 扩展。两个主流框架flask-sock 和 flask-socketio。

对于高性能 LLM 服务（例如 Ollama/VLLM），LitServe 与 LitGPT 搭配使用或构建自定义 VLLM 类服务器时是理想之选。为了最大限度地提高 LLM 性能，建议使用 KV 缓存等优化（可通过 LitServe 轻松实现）。各种优秀的功能都具备，而不是简单的炒作具有非常。

这表示流式过程中的下一个块没有在规定时间内read出来,可能由于奇奇怪怪的原因总有个别请求中途出错,如果不设置read的超时时间在openai库中会设置成和timeout一样的时长,进而阻塞我们整体的响应时长,极大的音效体验。这里没有设置read参数,所以httpx库会设成和timeout一样的数值,你可以在创建openai类的时候手动设置timeout数值,比如。这里我read设的20s,大家可以自行调节。这是openai默认的超时设置。