qiu_peng的博客

动机实现通用人工智能的关键步骤是获得连续学习的能力，也就是说，一个代理（agent）必须能在不遗忘旧任务的执行方法的同时习得如何执行新任务。然而，这种看似简单的特性在历史上却一直未能实现。McCloskey 和 Cohen（1989）首先注意到了这种能力的缺失——他们首先训练一个神经网络学会了给一个数字加 1，然后又训练该神经网络学会了给数字加 2，但之后该网络就不会给数字加 1 了。他们

Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神