9、机器学习系统设计：文档评审与指标选择

机器学习系统设计：文档评审与指标选择

1. 设计文档评审的重要性与初步考量

在处理复杂的机器学习系统设计时，设计文档的评审至关重要。以超级大型零售（Supermegaretail）的预测问题为例，我们需要思考当前的预测对于某些类别是否足够好，而对其他类别却毫无用处。我们可以采用混合方法，从预测与实际销售差距最大的类别开始。而且，如果我们的方法不小心破坏了某些东西，由于我们只是在一直存在问题的类别上进行测试，而不触及表现良好的类别，所以风险相对较小。

同时，我们还需要对现有解决方案进行广泛而全新的探索性数据分析。在设计过程中，还有许多其他问题和风险需要考虑：
- 是否拥有所需的基础设施，还是需要进行构建？
- 如果选择复杂的方案，可能会出现问题，需要实施哪些必要的检查和平衡措施来避免灾难？出现故障时是否有备用方案？
- 我们是否有把握显著提高质量并减少人工负担？真的能解决这个问题吗？
- 犯错的代价是什么？缺货和库存积压的错误成本可能不同。
- 处理缺货情况时，能否应对增加的流量？
- 需要多久以及以何种粒度进行预测？

一个简单的问题概述和基于先前收集数据的研究，可能就会让我们写出一份长达10页的文档。这份草稿将帮助我们决定是继续推进，还是现在就停止，避免采用复杂的机器学习解决方案。

2. 设计文档评审的要点

设计文档通常不是由一个人就能写出可以直接实施的完整版本。复杂系统需要不同专业知识和背景的人提供输入。作为设计文档的作者，要让所有参与方都能轻松导航文档。通过分章节和子章节来组织文档，能帮助领域专家从一开始就知道从哪里入手。因此，设计文档必须尽可能让更多人能够访问和查看，并且