吴恩达《深度学习》第三课第一周笔记

结构化机器学习项目——机器学习策略（一）

一、为什么是机器学习（ML）策略

我们在优化一个模型时可以从很多角度来着手，如下图，但是如果不分析清楚就一味地从某个方面莽撞前行会浪费大量的时间。

二、正交化

1.在深度学习中，需要调整的超参数非常多，而对于资深的深度学习专家而言，对于需要调整什么以达到什么效果是很明确的。

2.正交化的定义：对于某个由多个维度决定的变量，如果各维度之间可以单独调整而不影响其余维度，那么这些维度之间的关系称为正交化，下面以电视机调节和汽车操纵为例。

3.机器学习模型调整的“假设链”，在每一步上要有评估的指标和调整的“旋钮”

• 使cost函数能够很好的适应训练集（training set）：bigger network，Adam
• 适应开发集（dev set）：regularization、bigger training set
• 适应测试集（test set）：bigger dev set
• 适应实际应用：bigger dev set，cost function

4.在训练机器学习模型时要有调节电视机的直觉，看到宽度、高度、色彩不好时要能够判断出需要调整那个按钮。

三、单实数评估指标

1.常用的单实数评估指标，这两个指标往往需要折中考虑。