20、进化ω-神经网络的表达能力

进化ω-神经网络的表达能力

1. 引言

在处理无限输入流时，进化神经网络的表达能力是一个重要的研究课题。本文将深入探讨确定性和非确定性递归神经网络（RNN）的相关内容，包括其计算过程、分类以及表达能力的精确刻画。

2. 确定性递归神经网络（D - RNN）

2.1 计算过程

D - RNN的计算过程基于无限布尔输入流 (s = u(0)u(1)u(2) \cdots \in (B^M)^\omega)，它会诱导出相应的布尔输出流 (bcs = y(0)y(1)y(2) \cdots \in (B^P)^\omega)。从某个时间步开始，一组输出状态会无限重复，这对应于与输入流 (s) 相关的吸引子动态。

根据吸引子的分类，可得到Muller接受条件：对于某个D - RNN (N)，若 (\inf(bcs)) 是接受吸引子，则无限输入流 (s \in (B^M)^\omega) 被 (N) 接受；若 (\inf(bcs)) 是拒绝吸引子，则被 (N) 拒绝。所有被 (N) 接受的输入流的集合称为 (N) 识别的神经ω - 语言，记为 (L(N))。

2.2 模型分类

根据突触权重的性质，D - RNN可分为以下两类：
- 确定性静态有理神经网络（D - St - RNN[Q]） ：其所有权重都是静态的，且用有理值建模。
- 确定性双值进化有理神经网络（D - Ev2 - RNN[Q]） ：其进化权重是双值的，静态权重是有理的。包含 (\alpha_1, \cdots, \alpha_k \in 2