增量学习 和 在线学习 的不同是:
在线学习是一个一个新增样本,增量是一批
嗯,因为CV在线学习一般来不及处理,应用场合不多
你先把一般的步骤搞好再说吧,接口弄好了,训练不是很简单的事情


今天重新看 腾讯课堂 27节 梯度与梯度下降
最后说到 SGD 会导致 模型在 损失函数 的路线是 折返走弯路 的 (注意去看那图体会),需要迭代的次数是比较多才能
到达 谷底。(可以去搜索一下 有没有相关 论文解决这种 增量学习 SGD和 mSGD 的平衡 )
而 批量梯度下降 能避免这种 折返,路线比较稳定的 跌落 谷底。
760





