CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode 论文总结与核心内容翻译

一、文章主要内容

该论文针对大型语言模型（LLMs）推理阶段的输出层计算瓶颈问题，提出了一种名为 CSV-Decode（Certifiable Sub-Vocabulary Decoding）的高效推理方法。核心思路是利用词汇嵌入的几何特性，通过离线聚类和在线几何上界计算，动态构建小规模子词汇表，在跳过大部分无关词汇计算的同时，提供可证明的正确性保证。

核心背景

LLMs 推理的主要瓶颈在于输出层：需对大规模词汇表（32K-256K tokens）计算 logits，复杂度为 $O(Vd)$