机器之心 | 持续反向传播算法能否打破 LLM 的「固化魔咒」？

本文来源公众号“机器之心”，仅用于学术分享，侵权删，干货满满。

原文链接：持续反向传播算法能否打破 LLM 的「固化魔咒」？

深度学习先驱 Richard S。Sutton 近期在 Amii（阿尔伯塔机器学习学院）发表演讲，指出当前的深度学习方法存在根本上的缺陷，进而分享了他对更好的深度学习的愿景，并将新的范式命名为 Dynamic Deep Learning。他在该愿景下提出了反向传播算法，解决了当前持续学习中模型可塑性丧失的问题，并为未来能适应动态环境的深度学习网络指出了可行的方向。

目录

01. Sutton：现在的深度学习在根本上有缺陷？

当前深度学习有什么缺陷？微调将来不存在了？Dynamic DL 是什么？

02. 持续反向传播算法了解一下？

反向传播算法是什么？持续反向传播和传统版本有什么区别？

03. 持续反向传播算法将解锁新的训练范式吗？

持续学习的价值在哪？在线学习对模型训练有什么帮助？...

01   Sutton：现在的深度学习在根本上有缺陷？<