基于LangChain4j UserMessage的Token计算实践

一句话总结

基于UserMessgae进行token计算，让大模型应用飞得更稳。٩(•̤̀ᵕ•̤́๑)ᵒᵏᵎᵎᵎᵎ

模型计算公式（以通义千问为例）

大模型应用开发中，Token计算是影响效果与成本的核心问题，我们面临以下痛点：

• 需要实时监控Token消耗，以便后续进行阈值预警
• 大模型Token限制：超限会导致截断或请求失败
• 动态优化的需求

DeepSeek经常timeout，这个用通义千问模型为例， https://help.aliyun.com/zh/model-studio/getting-started/models?spm=a2c4g.11186623.0.0.3adc55ef9UIH28

UserMessage快速了解

快速使用

UserMessage userMessage = UserMessage.from(prompt);

返回的结果

Response { 
content = AiMessage { text = "[具体的回答内容]" toolExecutionRequests = null }, 
tokenUsage = TokenUsage { inputTokenCount = 10, outputTokenCount = 86, totalTokenCount = 96 }, finishReason = STOP, 
metadata = {} 
}

tokenUsage 包含：输入的Token+输出的Token计算
结合计算公式
但是⚠️注意这里的Token计算是不完善的。

未来展望

只是开始，可以期待MCP.从N✖️N到 One for All，用更简单、更可靠的方式获取获取所需的数据，计算更可靠的Token消耗。