增量学习(个人随心所写)

1 增量学习2025年更新之。实际上一直做图片类的工作；并没有深入学习增量学习。

   我想即使当前的训练本质也是增量训练，虽然看着是训练一轮。但是每一轮中，for循环很多次，一次也只能训练有限的batch，比如100，或者20个样本。实际已经是增量训练了。增加新的样本，我们降低学习率便可。新增样本，训练好几轮，类似于打铁，来回矫正，来回微调。

2 为什么需要增量学习

http://jingyan.baidu.com/article/d621e8da329c612865913f20.html

1. 1

   为什么需要增量学习算法？

    1）数据库中的数据是动态变化的

    2）数据量（训练样本）的变化引起重复学习

    3）应避免在海量数据的情况下重复学习

    4）˜只需修改因数据变化而涉及的规则

    5）增量学习算法是数据挖掘算法走向实用化的关键问题之一

2. 2

   增量式学习。

   增量式算法的重要性体现在2个方面：

   1）在实际的数据库中，数据量往往是逐渐增 加的，因此，在面临新的数据时，学习方法应能对训练好的系统进行某些改动，以对新数据中蕴涵的知识进行学习。

   2） 对一个训练好的系统进行修改的时间代价通常低于重新训练一个系统所需的代价。

3. 3

   增量式算法：就是每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅做由于新增数据所引起的更新，这更加符合人的思维原理。

一个增量学习的演示思路，不错

http://cs.nju.edu.cn/rinc/SOINN.html

二维高斯的描绘matlab

http://blog.sina.com.cn/s/blog_9460ff790101d87r.html

局部变更神经网络

http://blog.youkuaiyun.com/xiaoshengforever/article/details/17633205

深度神经网络开源的几个网站

http://www.open-open.com/lib/view/open1415288509496.html

caffe-windows版本地址

https://codeload.github.com/BVLC/caffe/zip/windows