文章核心总结与创新点
一、主要内容
本文聚焦大语言模型(LLM)推理效率优化的新方向——查询内语义并行性(intra-query semantic parallelism),即挖掘单个用户提示中隐含的可独立执行的子任务结构,通过并行化执行降低延迟。
- 核心问题:现有LLM服务系统多优化查询间并行(如批处理、模型压缩),却忽视单个查询内部的潜在并行结构,导致复杂提示推理延迟较高。
- 数据集构建:提出首个真实场景基准测试集PARALLELPROMPT,包含3.7万+来自LMSYS-Chat-1M和WildChat-1M的真实用户提示,覆盖7类典型任务(阅读理解30%、命名实体识别30%、重复生成25%等)及400+新任务类型,支持11种语言。
- 技术框架:设计多阶段流程——LLM辅助提取结构化schema(含任务模板、共享上下文、迭代输入)、规则化多语言验证、串行/并行执行对比测试,核心评估延迟、结构一致性、语义保真度三大指标。
- 实验结果:
- 75%以上的精选数据可成功解析并行结构,翻译、阅读理解等任务延迟降低3-5倍,质量损失极小;
- 并行化收益随查询复杂度提升而扩大,且与现有优化(如KV缓存、推测解码)互补;
- 现有分解方法(如Skeleton-of-Thought、Tree-of-Problems)在真实场景中泛化性差,仅适用于特定结构化任务。</
订阅专栏 解锁全文
1332



被折叠的 条评论
为什么被折叠?



