Rabbit_QL的博客

本文分析了单轮与多轮大模型API调用的区别及其Token成本。单轮请求是无状态的独立调用，模型仅处理当前输入。多轮对话通过显式拼接历史消息实现上下文连续性，其中assistant角色内容需手动传入。这种方式虽然简单，但会导致Token成本随轮数线性增长，尤其对长对话影响显著。文章强调模型本身无记忆能力，上下文连续性完全依赖输入Token构造，为后续优化技术（如缓存、压缩等）提供了理论基础。

本文澄清了火山方舟Ark在上下文复用方面的能力限制，指出其API虽兼容OpenAI风格但不提供服务端上下文缓存功能。在多轮对话场景中，Ark模型完全无状态，每次请求都需显式拼接历史消息，导致token成本随轮次线性增长。文章分析了token构成来源，强调输入token优化（精简system、摘要化历史）和输出token控制（限长、拆分任务）的重要性，并给出工程实践建议：将Ark视为无状态服务，在调用方实现上下文管理，通过固定system、压缩历史、结构化输入等方式降低成本。正确理解这些特性，才能合理优化大模