
尾部延迟对语音智能体为何重要
HOAi的语音智能体负责接电话,每轮对话都会向大语言模型发起请求。多数时候,响应1.5秒内返回,但偶尔要10到20秒。电话里这就意味着10秒的尴尬沉默,时间一长,打电话的人就会挂掉和智能体的通话。这种情况发生频率可能超乎想象。一次典型电话通话通常有20到30轮对话。要是1%的大语言模型请求响应极慢,那在一次25轮对话的通话中,约有22%的概率会出现长时间沉默。
优先等级与两次发送请求的对比
我们有两个选择:升级到OpenAI的优先等级,为每个token付两倍费用,以获得更快、更稳定的响应;继续用标准等级,但把每个请求发两次,选响应快的那个。我们针对这两种设置,重新运行了50个实际生产请求,跟踪了两个指标:首次返回token的时间(即智能体开始说话的时间)和完整响应的时间(即可以对工具调用采取行动的时间)。
首次返回token的时间:优先等级中位数为0.61秒,标准等级(发送两次请求)为0.58秒;p95分别为1.04秒和0.68秒;p99分别为4.2秒和1.2秒。完整响应的时间:优先等级中位数为1.35秒,标准等级(发送两次请求)为1.35秒;p95分别为3.4秒和2.0秒;p99分别为9.8秒和3.5秒;最差情况分别为9.8秒和3.5秒。显然,把请求发两次效果比优先等级好。完整响应的最差情况时间从9.8秒降到3.5秒,首次返回token的最差情况时间从4.2秒降到1.2秒。尽管标准等级单个请求响应慢,但其中位数和优先等级完全一样。当慢速响应情况少且相互独立时,这方法很有效,能降低同一轮对话中两个请求响应都慢的可能性,显著减少打电话的人遇到的10秒沉默情况。
总结
要是你正在构建实时交互式大语言模型产品,在为更快服务等级付费前,可以先把它和两次发送请求的方法对比测试。你可能用相同成本获得更好的延迟表现。
452



被折叠的 条评论
为什么被折叠?



