19、机器学习中的基线模型与误差分析

机器学习中的基线模型与误差分析

1. 基线模型的重要属性

在机器学习系统设计中，基线模型具有重要地位，它能有效解决技术、机器学习和产品相关的问题。基线模型有几个关键属性，其中计算时间和可解释性尤为重要。

计算时间方面，模型及其特征的计算时间会影响响应时间。对于实时系统，基线模型需要满足服务级别协议，它可能代表着解决方案空间的自然限制。即便没有实时要求，计算时间也决定了未来更深入实验时的迭代速度。

可解释性在任何机器学习系统的首次迭代中都很关键，特别是对于团队其他成员。当处理敏感或医疗数据时，可解释性不仅关乎对模型预测的信任，还涉及安全问题。一般来说，基线模型越简单，就越容易解释其工作原理。

2. 不同公司的基线模型设计

2.1 Supermegaretail公司的预测系统基线模型

• 常数基线（Constant Baseline） ：对于Supermegaretail的需求预测系统，计划使用每个杂货店每个SKU前一天的实际值作为常数基线。考虑到数据可能延迟出现以及杂货销售具有强烈的每周季节性，会回溯完整的一周而非一天。例如，对2022年9月8日特定商品的预测，将是该商品2022年9月1日的实际销售值。
• 高级常数基线（Advanced Constant Baseline） ：可以使用年度窗口计算第1.5、25、50、75、95和99百分位数的分位数损失。
• 线性模型基线（Linear Model Baseline） ：使用基本特征集进行带分位数损失