Machine Learning Yearning 33-35 阅读笔记：和人类水平进行比较

33.为什么我们和人类水平比较

当你试图做一项人类可以很好完成的任务时，比较容易构建机器学习系统
1.容易获得label 2.可以由人的直觉进行错误分析 3.用人类水平估计最优错误率并设置期望错误率
而对于一些人类都不能很好胜任的任务，例如推荐和预测，那么会有以下问题：
1.难以获得标签 2.人类直觉不起作用，很难提升算法 3.很难知道最佳错误率和合理的期望错误率

34.如何定义人类的表现水平

假设没有医学背景的人在X光图像诊断上能达到15%错误率，初级医生能达到10%，有经验的能达到5%，医生小组讨论能达到2%，那么该选哪一个作为人类水平呢？我（吴恩达）会选择2%作为最优错误率，因为上一章中与人类水平比较的三个原因均适用。
当你标注数据的时候，由于整个小组的医生的时间很宝贵，那么你在绝大多数情况下拥有一个初级医生的标签，并只给有经验或一组医生更难的图像。
当你的系统当前错误率为40%那么谁来标注数据并不重要，但当错误率降到10%，那么定义人类水平未2%就能更好的改进你的系统。

35.超越人类表现

如果你进行语音识别，即使是人类在数据集上也有8%的错误，假设你的系统已经错误率降到8%，那么如何取得快速的进展呢？
尝试挑出一个子集，人类能显著超越系统，如快语速的子集，那么你仍能用33章的知识推动进展，33章的3点都能适用于这个子集。
在很多问题上，机器已经超越了人类，如预测电影评级，货车驾驶用时，信贷。一旦人类很难识别算法判断错的样例，那么这时挑子集的方法就有用。