17、神经网络抽象机的必要性探讨

神经网络抽象机的必要性探讨

1. 引言

学习任务复杂多样，用于序列学习的神经网络模型众多。除了架构细节和训练算法特性外，还有其他因素增加了神经网络自适应处理序列的管理复杂性，如训练启发式方法（自适应学习率、正则化和剪枝）以及先验领域知识的插入。成功将神经网络应用于现实世界领域，需要根据问题复杂度回答关于架构类型、训练算法、训练启发式方法和知识插入等多个问题。

目前，由于缺乏涵盖所有相关问题的计算工具，这些问题难以轻易解答。虽然有作者尝试统一不同架构和学习算法，但都不完整。软件模拟器和神经规范语言也局限于特定模型，不允许用户开发新模型。因此，我们认为需要一个神经网络抽象机，即对神经网络计算所操作和执行的基本（相关）对象及操作进行正式、精确的定义。为定义神经网络抽象机，建议使用抽象状态机（ASMs），它已广泛用于各种硬件系统、算法和编程语言语义的形式化设计和分析，能以简单方式指定形式系统，同时保持数学的合理性和完整性。

2. 神经网络序列学习概述

2.1 序列学习的领域、任务和方法

非正式地说，序列是原子实体的有序集合，通常出现在具有时间结构的学习领域，每个原子对应一个离散时间点。例如，金融预测问题中的变量在连续时刻采样，形成离散时间序列的观测实例空间；自动语音识别系统将声学属性序列转换为语音符号序列。此外，一些非时间相关的数据也可表示为序列，如模式识别中的符号串、分子生物学中的 DNA 链。时间在序列领域有更抽象的坐标意义。

序列学习的任务包括分类、时间序列预测、顺序转换和控制等，有时还需近似序列域上的概率分布、发现有意义的序列簇，这在知识发现和数据挖掘中很有用。由于序列学习问题复杂多样，单一方法难以解决所有问题。