16、记忆增强神经网络：从NTM到DNC的探索

记忆增强神经网络：从NTM到DNC的探索

1. 序列分析与RNN潜力

在序列分析领域，循环神经网络（RNN）展现出了解决复杂问题的强大能力，如机器翻译。理论上，RNN架构是通用的函数表示器，即具有图灵完备性，意味着在合适的连接和参数下，RNN能学习解决任何可计算问题。然而，在实际中，要实现这种通用性极为困难，因为RNN可能的连接和参数值构成的搜索空间巨大，梯度下降法难以在其中找到任意问题的合适解决方案。

1.1 工作记忆的启示

以一个简单的阅读理解问题为例：

Mary travelled to the hallway. She grabbed the milk glass there.
Then she travelled to the office, where she found an apple
and grabbed it.
How many objects is Mary carrying?

答案是两个。我们的大脑解决这个问题的方式类似于一个简单的计算机程序：
1. 为计数器分配一个内存位置。
2. 将计数器初始化为0。
3. 遍历段落中的每个单词：
- 如果单词是 ‘grabbed’，则增加计数器。
4. 返回计数器的值。

在神经科学和认知心理学中，这种临时存储和处理信息的系统被称为工作记忆，它是后续研究的主要灵感来源。

2. 神经图灵机（NTM）

2.1 NTM架构

2014年，研究人员引入了神经图灵机（NTM），它由一个控制器神经网络（通常是RNN）和一