论文笔记：Net2Net

一篇入门解释的博客：
https://blog.youkuaiyun.com/cFarmerReally/article/details/80927981

论文是实现TL的一个network方法，目的是对于动态的数据需求不断扩大网络，而不是重新建立网络。在网络扩张的同时，实现了TL。

基本理解：
Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题，例如先训练一个小的网络，然后Net2Net，训练一个更大的网络，训练更大的网络时可以利用在小网络中已经训练好的权重，使得再训练大型的网络速度就变的非常快，利用小网络的权重的这个过程就是知识迁移的过程。

真实场景下的机器学习系统，最终都会变成终身学习系统(Lifelong learning system)，不断的有新数据，通过新的数据改善模型，刚开始数据量小，我们使用小的网络，可以防止过拟合并加快训练速度，但是随着数据量的增大，小网络就不足以完成复杂的问题了，这个时候我们就需要在小网络上进行扩展变成一个大网络了。

两种扩张方式：

1. Net2WiderNet: 新的节点copy旧节点，将这两个节点连接下一层的权重平均，实现等价扩张
2. Net2DeeperNet：加入新的一层copy上一层

网络容易扩张但不易缩减