36、预测性能评估的FVA框架

预测性能评估的FVA框架

在过去十年里，预测领域发展迅速且成果丰硕。传统时间序列方法得到了改进，在某些情况下，新一代数据科学家带来的机器学习和人工智能新方法甚至取代了传统方法。然而，这种快速创新引发了对性能提升的各种宣称，这就需要进行恰当的评估。预测附加值（FVA）框架为评估预测性能提供了一种有别于传统方法的途径。

什么是FVA？

FVA旨在识别预测过程中的浪费、低效和不良做法。它并非衡量预测准确性的指标，而是反映整个预测过程的有效性。其定义为：FVA是指可归因于预测过程中特定步骤或参与者的预测性能指标的变化。

FVA用于评估我们的预测工作是提高了准确性、对准确性没有明显影响，还是降低了准确性。需要注意的是，虽然FVA可以与任何预测性能指标（包括偏差）一起使用，但这里仅讨论与准确性指标相关的FVA。

以一个简单的两步预测过程为例：
1. 建模（生成“计算机生成的预测”）
2. 管理层审核（生成“经判断调整的预测”）

假设计算机生成的预测准确率为70%，而经判断调整后准确率提高到75%，那么我们可以说管理层审核步骤增加了5个百分点的“附加值”。当某个过程步骤使预测准确性降低时，附加值则为负。

FVA不仅常用于评估对计算机生成预测进行主观修正的影响（正向或负向），还适用于评估建模工作的影响。它通过将计算机生成的预测与简单预测或其他替代模型进行比较来实现这一目的。FVA试图分离预测过程中连续活动的影响，以便简化和调整过程，使其更高效、更有效。

FVA有时会被误解为财务指标，但实际上并非如此。它评估的是点预测准确性的变化，而不涉及这种变化带来的商业价值或货币影响。准确性的提高是否能带来商业