22、机器学习中的错误分析与训练管道

机器学习中的错误分析与训练管道

1. 错误分析

错误分析在机器学习系统设计中至关重要，它能帮助我们揭示系统的弱点并提出改进方法。以下是一些关键要点：

1.1 错误分析的问题导向

• 性能与条件 ：思考模型历史表现达到可接受性能所需条件，以及是否有其他条件可帮助区分预测质量有把握的情况。
• 负残差共性 ：分析具有最大负残差的项目的共性，优先将这些情况或类别从A/B测试组或试点中排除，并在改进模型时重点关注。
• 正残差共性 ：探究具有最大正残差的项目的共同特征。

1.2 PhotoStock Inc.的错误分析

对于PhotoStock Inc.，需要一个现代搜索工具，能根据客户的文本查询找到最相关的照片，同时提供出色的性能并展示库存中最相关的图像。为此，要从一开始就纳入错误分析工具，并提前规划重点关注部分。

1.2.1 学习曲线分析

• 损失曲线 ：启用损失曲线进行合理性检查，并进一步调整关键超参数，如早停阈值、学习率等。
• 组件损失曲线 ：由于损失是复合的（包含多个组件），需查看每个组件的损失曲线以调整其权重。
• 样本大小学习曲线 ：可以在数据子样本上训练模型，绘制样本大小学习曲线，估计新数据对整体性能的提升。