65、单变量ReLU神经网络及其应用与多磁场发生器结合活细胞工作站的研究

单变量ReLU神经网络及其应用与多磁场发生器结合活细胞工作站的研究

单变量ReLU神经网络及其应用

在神经网络领域，单变量ReLU（UReLU）神经网络是一种基于线性变换和UReLU函数的创新网络结构，可视为解耦的ReLU神经网络，具有清晰的可解释性。

线性变换与PCA变换的差异

与主成分分析（PCA）变换不同，UReLU神经网络的线性变换更注重训练效率，其变量选择过程是有监督的。具体而言，初始线性变换通过非线性动态系统的堆叠海森矩阵获得，这在一定程度上反映了对系统的洞察。

子区域的线性关系

系统输入U经过降维模块后进入UReLU模块。从UReLU函数的表达式可以确定输入U的定义域划分，在每个子区域内，预测输出是仿射的。当根据特定规则选择参数βij时，会有(q - 1)n个子区域，这些子区域是多个集合的笛卡尔积。对于任意x属于某个子区域Γk1···kn，预测输出ˆy可以通过一个线性函数表示，该线性函数还可以根据线性变换矩阵V相对于输入u进行表达，这将极大地促进系统识别后非线性系统的控制和优化。

基准测试结果

为了验证UReLU神经网络的性能，进行了一个近似Bouc - Wen基准模型的实验。实验使用了40,960个训练数据点和两个验证集，分别是8192个多正弦输入和153000个扫频正弦输入。采用模拟均方根误差（RMSE）以dB形式评估系统性能。选择30个回归变量并使用所有40960个样本进行训练，然后根据特定方法确定线性变换矩阵的初始值，使用变量投影法估计所有参数。

实验中还注意到U和X的条件数分别为1.74 × 107和28.26，线性变换后形成了不相关的变量，证实