原文如下
Peacetopia城中的鸟类研究–案例学习
1.问题描述
本案例来自真实的产品应用。为了保密,所以细节上做了一些修改。
你是Peacetopia城中的一名著名的研究员。Peacetopia人有一个共同特征:他们害怕鸟类。为了保护他们,你必须构建一个算法,能够侦测到任何飞越Peacetopia城的鸟类,并且向居民发出警报。
Peacetopia城议会给了你一个数据集,包含了由城市安全摄像头拍摄的一千万张照片,照片内容是Peacetopia城上方的天空,并且都设置了如下的标签分类。
- y = 0: 图像中没有鸟类
- y = 1: 图像中包含鸟类
你的目标是构建一个算法,对安全摄像头拍摄的新照片进行分类。
所以你需要考虑一些事情
- 评估指标是什么?
- 你如何将你的数据分割为训练/开发/测试集?
2.成功标准
市议会告诉你,他们希望算法达到
- 高准确率
- 能快速对新照片识别分类
- 可以适应小容量内存,这样它可以在小的处理器上运行,并被安装在城市不同的安全摄像头上
问题1:
有这三个评估指标让你很难在两种不同的算法之间进行快速选择,并且会降低你团队迭代的速度,是真的吗?
- 是。正确,在选择评估参数的时候,应该尽量选择一个单一数字来作为评估指标。
- 否
经过市议会讨论后,缩小了标准
- 我们需要一种算法,可以让我们尽可能精确的知道一只鸟正飞越Peacetopia城。
- 我们希望模型用不超过10秒的时间对新照片进行分类。
- 我们希望模型能适应10MB的内存。
===========================================================
问题2:
现在如果你有下面这3种模型,你会选择哪个?
- Test Accuracy:97%;Runtime:1 sec;Memory size:3MB
- Test Accuracy:99%;Runtime:13 sec;Memory size:9MB
- Test Accuracy:97%;Runtime:3 sec;Memory size:2MB
- Test Accuracy:98%;Runtime:9 sec;Memory size:9MB
答案