Auditing Pay-Per-Token in Large Language Models

该文章聚焦大语言模型（LLM）按token计费场景下的服务商作弊问题，提出了基于鞅理论的审计框架，可有效检测服务商对token数量的虚报行为，同时保证低误检率。

一、文章主要内容总结

1. 问题背景
   • LLM服务依赖云端提供，主流按token计费模式使服务商存在虚报生成输出token数量以牟利的经济动机。
   • 信息不对称导致用户无法验证token数量真实性，且同一字符串存在多种token化方式，为服务商作弊提供可能。
2. 核心方法
   • 问题建模：将token虚报审计转化为序贯假设检验问题，定义零假设（服务商诚实，虚报强度为0）与备择假设（服务商作弊，虚报强度>0）。
   • 审计框架：基于鞅理论设计序贯统计检验，通过修改LLM的自回归生成过程，构建无偏估计器来计算字符串的平均token序列长度，再对比服务商报告的token长度与估计值，聚合证据判断是否作弊。
   • 理论保障：证明框架能保证检测到所有作弊行为，且在α=0.05的预设阈值下，诚实服务商被误判的概率极低。
3. 实验验证
   • 采用Llama、Gemma、Ministral系列LLM，结合LMSYS Chatbot Arena数据集的提示词，测试多种作弊策略。
   • 结果显示，框架在观察不到70个