34.如何定义人类处于什么样的水平 翻译自 吴恩达新书-Machine Learning Yearning

更多好玩的机器学习教程: 进入袋马学院领一份 ，全部免费?.

假设你正在开发一个医学成像应用，它能自动地从X射线图像中做出诊断。一个没有医学背景人，通过简单训练后，能达到15%的错误率，初级医生能达到10%的错误率，一个老练医生可以达到5%的错误率。一个小型的医生小组通过讨论和辩论后，能达到2%的错误率。那我们要把哪一个定义为人类水平呢？

在这种情况下，我们将用2%的错误率作为我们最优的错误率。你也可以将2%错误率作为算法的期望值，如上一章所说，这么做有三个好处：

• 容易获取人类标记的数据。你可以找一个医生团队，来标记样本标签，这样你就能获得2%错误率的样本集了。
• 可以凭直觉进行错误分析。你可以利用医生的直觉，来帮助你改进模型。
• 用人类水平来评估最优的错误率并设置模型的期望值。用2%错误率来作为我们的目标是合理的。最优的错误率应该低于2%，不会更高，因为医生团队可以达到2%的错误率。

当需要标注数据时，往往不需要医生团队针对每张图片都讨论后给出标记，因为他们的时间是非常昂贵的。或许你可以找一个初级医生标记大多数的样本，然后将较难识别的样本交给成本较高的医生或医生团队。

如果你的系统当前的错误率为40%，那么使用初级医生或者老练医生来标记数据并没多大区别。但是，如果你的系统错误率已经降到10%了，那么将人工水平设置到2%，会非常有助于你改进系统。

更多好玩的机器学习教程: 进入袋马学院领一份 ，全部免费?.