阿里面试惊现难题：大模型服务吞吐率太小咋整？

我是丁师兄，专注于智能驾驶方向大模型落地，公众号：丁师兄大模型。

大模型1v1学习，已帮助多名同学上岸国内外大厂

---

想象一下，就像咱们家里的水管，正常来讲水应该哗哗地流，可要是这管子太窄了，水就只能滴滴答答，让人干着急！

当下咱们面临的大模型服务吞吐率太小，不就类似于这窄窄的水管吗？当面试官问你有没有办法把大模型服务吞吐这个“管子”拓宽，让数据像奔腾的江河一样顺畅流淌，你准备怎么解决？

01面试官心理分析

当面试官问你这个问题的时候，其实面试官主要是想考验你如下 3 个方面：

• 第一，在实际业务中，你有没有做过大模型服务性能的调优？
• 第二，你是否了解大模型服务吞吐率跟哪些因素有关？
• 第三，展开你实战用过的优化技术，说明是怎么解决这个问题的？

02面试题剖析

大模型服务的吞吐率太小到底该如何解决？我们沿着面试官的心理预期，我们来逐步回答一下。

首先我们看一下吞吐率是怎么计算的：吞吐率 = 处理的请求N / 延时

也就是：在一定时间内，服务处理的请求数除以消耗的时间。那我们看一下分母，模型处理的延时跟什么有关，是不是模型的 forward 的时间。我们当然希望模型 forward 实际计算