16、机器学习面试：模型评估与编码准备

机器学习面试：模型评估与编码准备

1. 模型评估中的正负样本权衡

在模型训练过程中，可能会出现将更多实际上没有肺癌的患者误分类为阳性的情况，这导致假阳性增加，降低了模型的精度。因此，在假阳性和假阴性之间进行权衡至关重要。在某些情况下，这种权衡是值得的，而在其他情况下则不然。在面试中讨论此类权衡，能让面试官看出你对模型偏差的批判性思考能力，以及选择合适模型和指标的能力，使你成为更出色的机器学习从业者。

2. 离线评估的附加方法

使用之前提到的模型指标，可以衡量模型对未见过的标签的预测效果，与隐藏的真实标签进行对比。不过，在模型部署之前，很难确定它在实际生产环境中的表现。实际生产环境意味着模型在现实世界中运行，接收真实的输入并产生输出。模型在生产环境中表现不佳的原因有很多，例如现实世界的数据分布可能未被训练数据完全捕捉，存在边缘情况和异常值等。

如今，许多雇主看重求职者对模型在生产环境中表现的理解。这与学校或学术视角不同，因为在实际应用中，模型表现不佳会给企业带来实际损失。例如，糟糕的欺诈检测模型可能使银行损失数百万；推荐系统不断展示无关或不适当的内容，会导致客户对公司失去信任，甚至可能引发诉讼。面试官会关注你是否意识到这些问题，以及是否思考过如何避免此类情况。

在模型投入生产之前，可以进一步评估模型，判断其是否稳健，能否对新数据进行泛化。具体方法如下：
- 扰动测试 ：引入一些噪声或对测试数据进行变换。例如，对于图像数据，随机添加一些像素，观察模型是否无法正确预测结果。
- 不变性测试 ：测试机器学习模型在不同条件下的表现是否一致。例如，移除或