Deep Learning－迁移学习

迁移学习

迁移学习引出的原因：实际上学习模型的训练是很依赖于1.数据集，包括数据本身以及数据的标注2.训练的时间成本，很多模型很大参数很多，同时拥有足够多的数据集，这样对于模型本身的训练也是很耗费时间和计算成本的

所谓迁移学习，就是将在某一个问题上已经训练好了的模型（针对某个问题进行模型的训练得到一个能解决这个问题的模型），通过对这个已经训练好的模型进行调整，得到一个能适用于新的问题，即能解决新的问题的模型。根据“NFL”天下没有免费的午餐，一个学习模型一定是用于解决某一类问题的，并没有能很好地解决所有问题的一个学习模型。这有一点继承的含义在里面，即在原有的模型的基础上，仅仅是进行了简单的修改，就能用于解决一个新的问题。

从另一个角度去理解这个迁移学习能work的原因：

根据论文：A Deep Convolutional Activation Feature of Generic Visual Recognition。将已经训练好的Inception-v3模型的参数保留，仅仅将最后一层全连接层替换，即可得到一个可以用于解决一个新的图像分类问题的模型。在这最后一层全连接层之前的所有网络结构，即网络的所有层，都称为瓶颈层。而对于瓶颈层的理解，可以认为他起到了一个对图像的特征进行提取的作用。因为仅仅是替换了一个全连接层，就得到了一个可用于新的图像分类问题的模型，可知，全连接层能做的事情、能提升的效果有限，所以有理由相信这个瓶颈层能对图像进行更强的特征提取，输出一个更为精简、表达能力更强的图像的特征向量。