异步程序预算有限时先优化哪里
预算有限时,我先减少无用等待,不先追求更多线程。一个容易验证的点是给外部调用设上限,避免任务无限挂起。
timeout(Duration::from_secs(2), fetch()).await
然后用固定 fixture 比较超时前后的完成情况。没有监控和真实成本账,不能宣称节省多少;这里只是把资源占用限制在可预期范围。
先看等待发生在哪里
异步程序的“慢”不总是 CPU 不够。可能是连接池排队、远端服务迟迟不回、一个锁把任务串成队列,也可能是把大量同步计算塞进了运行时线程。预算有限时,先在请求的关键节点记录开始与结束:排队、建连、读取、解析、写回。这样能看出时间花在本地还是依赖端,而不是凭感觉换并发参数。
优化顺序应当服务于当前的瓶颈。若多数请求耗在等待远端响应,先设置合理超时、取消传递和连接复用;若任务在解析大文件时卡住,再考虑分块处理或把 CPU 工作移到专用线程池。不要一上来就加 worker 数量。并发提高后,排队可能少了,但依赖端被压垮,失败重试反而让总耗时更长。
为每个任务留出退出通道
timeout 只是在外层停止等待,内部任务是否仍在运行要看实现。调用链应该接收取消信号,读取流和循环处理时定期检查它,拿到取消后释放连接、停止后续写入。涉及写操作时还要定义边界:超时发生在提交前可以直接放弃,发生在提交后则不能假设未执行,应查询结果或记录待确认状态。
对学习工具来说,宁可少做一点,也不要让一次卡住的解释占住整个会话。用户发起新请求时,旧请求应能被取消;页面展示的是“这次辅助解释已停止”,而不是一直转圈。后台任务如果必须继续,也要与前台请求脱钩,并限制队列长度,避免用户重复点击产生一串相同工作。
用小样例检查资源账
固定 fixture 可以覆盖几种典型场景:立即成功、慢响应、连续失败、用户主动取消和解析数据过大。测试不必声称性能提升了多少,只要断言超时后不再继续读取、取消后连接被归还、队列满时返回明确错误。发布后再依据真实的耗时分布调整阈值;把某次压测的数字直接写死到产品逻辑,通常比不设限制更难维护。
资源预算还应分开看。网络等待多的任务可以提高并发,但必须受连接池限制;CPU 密集的解析任务需要单独的并发上限,不能和请求处理共用同一批线程。内存方面,优先限制单次读入的数据量,再讨论缓存。三个预算混在一起调,很难知道是哪一个变化让延迟变差。
最后把超时结果写成稳定接口。调用者应区分“尚未开始”“已经取消”“依赖超时”和“结果未知”,不要只得到一个布尔值。这样界面、队列和后续重试可以各自做合适的事,不会把一次超过预算的操作误当成普通失败。
这也让复盘有据可查:究竟是排队过久、依赖慢,还是任务自身没有响应取消。先分清原因,再改参数,才不会把预算优化做成盲目加机器。
当一个限制被调整时,提交说明应写清它保护的对象和会牺牲什么。例如缩短超时会更快释放队列,却可能让边缘网络下的请求更早失败。把取舍写出来,后来的人才知道该先检查什么,而不是只看到一个没有来历的常量。
402



被折叠的 条评论
为什么被折叠?



