机器学习中的在线学习与离线学习

一直以来对这个有所疑惑，所里师姐和师兄的解释好像和论文中的在线离线有所不同。现在国内外有这么几种理解方式。

我就在这边给自己做个小笔记吧。有不对的地方望予以指正，本人必虚心改正。

在线学习和离线学习(online learning and offline learning)

理解方式一：

在这一次训练中：

 在线学习：一个数据点训练完了直接更新权重（而不是一个batch），

 离线学习：一个batch训练完才更新权重，这样的话要求所有的数据必须在每一个训练操作中（batch中）都是可用的

 这种理解方式在国外论文中出现比较多，国外称为online and batch learning.离线就是对应batch learning.这两种方式各有优点，在线学习比较快，但是有比较高的残差，离线（batch）学习能降低残差。

理解方式二：

 在离线学习中，所有的训练数据在模型训练期间必须是可用的。只有训练完成了之后，模型才能被拿来用。简而言之，先训练，再用模型，不训练完就不用模型。

 在在线学习中，恰恰相反，在线算法按照顺序处理数据。它们产生一个模型，并在把这个模型放