3、离散神经网络的计算能力探索

离散神经网络的计算能力探索

1. 引言

经典可计算性理论主要探究计算机或其模型（如图灵机）在理想的时间和内存条件下能解决哪些算法问题，它为人造设备的计算能力划定了边界。类似地，离散时间神经网络在理想的时间和空间（节点与连接）条件下能解决哪些问题也值得研究。这一研究引出了离散神经网络可计算性的数学理论。

在探讨神经网络可计算性时，需要将其与神经复杂性和神经可学习性理论区分开来。同时，这里主要关注离散神经网络，其更新由查找表和差分方程定义，状态通常来自离散集合。

人们常讨论“神经网络是否与图灵机等价”，对于有界神经网络（有限节点、连接和有界精度激活值），它们在计算上等价于有限状态机。但有限状态机因缺乏动态内存而能力受限，图灵机通过无限磁带实现动态内存，无界神经网络在计算能力上至少与图灵机相当，甚至更强，能解决图灵机无法解决的停机问题。不过，并非所有问题都能由神经网络解决。

2. 从经典可计算性到神经网络

2.1 有限状态机与有限神经网络

有限状态机由Rabin和Scott在1959年正式引入，Kleene在1956年对其计算能力进行了刻画。它由有限状态集合和状态转移函数组成，用于对输入进行二进制决策。

有限神经网络（节点、连接和激活值有限）在计算上等价于有限状态机。每个有限神经网络的节点激活值有限，其总状态或配置也有限，可看作有限状态机的状态。有限状态机的转移函数由神经网络的更新过程决定。反之，有限状态机也能由神经网络实现。

2.2 图灵机

研究无界神经网络的计算能力前，需先了解图灵机。图灵机本质上是无界的，只有无界神经网络才可能具有与图灵机相当的计算能