TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification

TRACER 论文核心总结 + 关键章节中英对照

一、核心内容总结

1. 研究背景

工业界广泛用 LLM 做零样本分类，但每次调用都付费，规模化成本极高；而 LLM 每次推理都会留下输入-输出日志（Trace），这些日志可免费作为训练数据，训练轻量代理模型替代 LLM 处理部分流量，大幅降低推理成本。

2. 核心方案：TRACER

• 全称：Trace-Based Adaptive Cost-Efficient Routing（基于追踪日志的自适应低成本路由系统）
• 核心逻辑：用 LLM 生产日志训练轻量代理模型，通过奇偶校验门（Parity Gate） 控制代理上线，仅当代理与教师 LLM 一致性达标时才接管流量，不确定样本回传给 LLM，形成自增强持续学习飞轮。
• 关键组件：
  • 代理模型：逻辑回归、MLP、树模型等轻量模型
  • 接受器（Acceptor）：判断代理是否可靠，综合置信度、熵、间隔等信号
  • 奇偶校验门：确保代理与教师一致性 ≥ 用户设定阈值 α 才上线
  • 可解释性产出：切片摘要、边界对比对、时序变化等，透明化路由边界

3. 实验结论