21、大语言模型（LLM）的性能监控、定制与应用实践

大语言模型（LLM）的性能监控、定制与应用实践

1. LLM 性能监控与评估

监控和衡量大语言模型（LLM）的性能颇具挑战性，因为生成的文本具有不确定性，且模型基于庞大的训练数据集。不过，仍有一些近似方法可用于衡量漂移情况，例如：
- 比较参考数据与当前请求之间的嵌入相似度。
- 测量词汇频率和困惑度等。

检测模型是否产生幻觉是关键挑战。以下是几种检测方法：
- 多结果比较法 ：针对同一问题比较多个结果，若语义不同，则模型很可能产生了幻觉。
- RAG 系统相似度评估法 ：评估参考数据与生成文本答案之间的相似度，可参考 BERTScore 和 Vectara。
- ROUGE 评估法 ：文本摘要应用可使用 ROUGE（Recall - Oriented Understudy for Gisting Evaluation）方法评估结果。
- LLM 评判法 ：使用 LLM 作为评判者，根据参考内容（在 RAG 中）或另一个 LLM 评估答案的正确性。

添加用户反馈（人工介入）也是确保高质量和可靠性的重要因素。具体做法是对生产数据中的结果进行抽样，由人工验证是否符合预期行为。若不符合，则进行纠正，并重新训练或调整模型。

2. MLOps 管道助力 LLM 定制与使用

为特定数据和应用定制 LLM 有两种方法：提示工程和微调。在许多应用中，会同时使用这两种方法以提升性能和可靠性。数据准备和验证在这两种方法中都是关键环节。