人工智能_大模型035_LLM大模型开发工具链001_大模型产品测评调试_调用过程监控LangFuse_LangFuse监控原生调用模型以及监控LangChain调用模型---人工智能工作笔记0170

## 维护一个生产级的 LLM 应用，我们需要做什么？

1. 各种指标监控与统计：访问记录、响应时长、Token 用量、计费等等
2. 调试 Prompt
3. 测试/验证系统的相关评估指标
4. 数据集管理（便于回归测试）
5. Prompt 版本管理（便于升级/回滚）
 

## 针对以上需求，我们介绍三个生产级 LLM App 维护平台
1. 重点讲解 **LangFuse**: 开源 + SaaS（免费/付费），LangSmith 平替，可集成 LangChain 也可直接对接 OpenAI API；
2. 简单讲解 **LangSmith**: LangChain 的官方平台，SaaS 服务（付费），非开源；
3. 简单讲解 **Prompt Flow**：微软开发，开源 + Azure AI 云服务，可集成 Semantic Kernel（但貌合神离）。
 

上面是自己在本地搭建的langfuse服务.和大模型的交互过程都被记录在了这个平台上.

每一个详细的情况都可以查看.跟AI助手的交互在这里都可以看