54、自然启发式元启发式算法在极限学习机中的性能研究

自然启发式元启发式算法在极限学习机中的性能研究

1. 引言

数学优化算法在现代科技应用中扮演着至关重要的角色，如GPS和IT银行领域的工具。同时，优化行为在生物界也普遍存在，高效的生物更能适应环境并将这种能力遗传给后代。科学家们尝试用元启发式算法（MA）来描述生物的优化行为。极限学习机（ELM）作为一种自2004年提出后日益流行的机器学习方法，将生物启发式优化算法与ELM相结合的混合MA - ELM在实际应用中展现出了比传统ELM更优越的性能。然而，目前关于在ELM中使用的元启发式算法的综合比较研究较少。本文将评估不同MA在MNIST手写数字和葡萄酒质量白数据集上的混合ELM，并分析不同参数对准确率和计算时间的影响。

2. 极限学习机（ELM）

ELM是一种密集前馈神经网络分类器和回归器，由Huang等人在2004年提出。其网络拓扑结构包括输入层、单个隐藏层和输出层。输入层和输出层的神经元数量取决于任务特征，而隐藏层单元数量需要通过经验确定。

2.1 分类

对于有N个观测值的监督分类任务，输入数据可表示为{(xi, ti)}Ni = 1，其中xi是d个特征的第i个向量，ti是第i个类别的标签。ELM输入层有d个神经元，输出层单元数量等于类别数M。网络输出的N个值{yi}Ni = 1形成矩阵Y。通过提取yi的最大值所在的索引p，将xi分配到第p类。为了便于比较Y和T，需要对T进行1 - of - K编码。

隐藏层神经元数量L预先选定，输入层和隐藏层之间的权重矩阵W和偏置向量b在学习过程中使用均匀分布函数U(−1, 1)计算。隐藏层神经元的输出存储在矩阵H中，激活函数f采用sigmoid函数。隐藏层和输出层之间的权重