深度学习（四）

结构化深度学习

1、正交化：即参数影响单一化，每次调整一个参数只能影响一个特征
2、查准率：识别出图片的准确率
查全率：在所以的一类图片中机器识别的所占的比重
一个重要的单实数评价指标：$F1 = \frac{2}{{\frac{1}{R} + \frac{1}{P}}}$
3、训练集与测试集服从同一分布
4、误差分析：实质是分析在错误标记中，针对某一因素，有无改进算法的需要，当因为此因素导致了大量的错误标记，则有必要进行改进
5、当训练集与测试集实在不满足相同分布时，也可以这样操作，但最后需要进行误差分析，分析可避免误差、偏差与方差，搞清楚方差是由于算法本身还是数据不匹配引起的，此时可以将训练集分为训练集与训练开发集，在训练集上训练，在训练开发集上测试，如果方差仍旧较大说明是算法本身存在问题，否则是由于训练集与 测试集数据不匹配引起的。
6、如果出现严重的数据不匹配，可以尝试操作人工合成数据集，使训练集与测试集分布尽量相似，但人工合成的数据集可能出现过拟合的现象，因为人为加入的因素可能只是全部数据的一个子集而已

迁移学习

将在一个任务中学习中的知识应用于另一个独立的系统
1、定义：当已经为一个任务训练好合适的神经网络之后，删除输出层，换成新的数据集，使用随机权重对最后一层训练，如果数据量很多，可以对多个层进行训练
2、适用条件：前者的数据量远大于后者，前者的低层特征对后者有帮助

多任务学习

同时学习多个任务
1、适用条件：共用低层特征，每个任务的数据量相差不多

端到端

1、定义：忽略了从输入到输出的中间过程，只训练一个神经网络就实现了从输入到输出的映射
2、适用条件：数据量巨大，如果数据量不是太大，可以将任务分成几个简单的任务，性能或许更好