深度学习之三：机器学习的策略

本文为Andrew ng深度学习课程的第三部分，主要总结了机器学习的策略方法。

1 机器学习策略之一

当我们的模型搭建出来之后，策略可以指引我们为了达到目标，如何采取下一步行动。

1.1 正交化

当设计和训练一个监督学习的系统时，我们依赖下面四条正交的假定：

1. 使模型在训练集上拟合，否则使用更大的神经网络或使用更好的优化算法。
2. 使模型在开发集上拟合，否则使用正则化或使用更大的训练集
3. 使模型在测试集上拟合，否则使用最大的开发集
4. 使模型在现实中运行良好，否则重新规划开发集/测试集或调整损失函数

1.3 单一优化指标与决定性指标

在评估模型时，有时会有多个不同维度的评价参数。例如从算法角度有精确度，召回率。从应用角度上，算法可能对不同类型的客户或场景有不同的效果。

如果同时采用多个指标，就不能快速有效对比多个不同模型，可能会造成模型选择上的混乱。因此需要将不同标准归一化到单个量化评估指标，以方便比较不同模型。

另外的场景存在硬性指标要满足。比如在模型大小受限或运行时间受限的场景中，模型的大小或运行时间将成为接受模型的决定性因素。不满足这些条件的模型即使软性指标再好也无法接受。

1.4 训练/开发/测试集的分布

训练集/开发集/测试集的设置对大型团队的生产力影响十分巨大。

测试集是我们模型优化要瞄准的目标，因此强调开发集与测试集的数据要来自相同的分布，这样模型日常在开发集上的调优与测试集效果的目标是一致的，否则团队就会在模型优化与最终测试中南辕北辙，极大浪费团队时间。

1.5 改变开发集/测试或损失函数的情况

以一个推荐算法为例，假定有两个算法A，B。算法A以3%的错误率向用户推荐猫的图片，算法B以5%的错误率向用户推荐猫的图片。然而算法A却会向用户推荐黄色图片，而算法B却不会。从社会的层面算B是更合适的。

此种场景，说明损失函数定义是有问题的。需要调整损失函数，需要将损失函数定义为对黄色图片更敏感，通过对不同类图片增加权重以影响损失函数，例如增加黄色图片的权重：

Error: