27、可扩展的前馈随机网络IP核与多目标优化算法在极限学习机中的应用

可扩展的前馈随机网络IP核与多目标优化算法在极限学习机中的应用

可扩展的前馈随机网络IP核

极限学习机（ELM）是一种用于单隐藏层前馈神经网络的快速高效训练算法。这里介绍的是一种可扩展的前馈随机网络IP核，它具有低功耗、快速训练和可重构的特点。

模块组成

• MCU模块 ：
  • 初始阶段，MCU作为接口模块。通过单个线性反馈移位寄存器（LFSR）顺序生成隐藏层到输出层的权重，并存储在内存中。
  • 顺序接收输入像素并存储在输入像素内存块中，然后将这些缓冲像素顺序广播到隐藏层神经元。
  • 在隐藏层，使用N位伪随机数生成器（PRNG）随机生成所有权重，提高了内存效率。
  • 权重与输入像素的乘积进行累加，累加值通过Sigmoid激活函数处理后存储在块RAM中。采用分段线性版本的Sigmoid激活函数，仅使用加法器和移位器实现，资源高效。
  • 接收到隐藏层的值后，MCU作为训练和预测模块。将隐藏神经元的值与存储的输出权重顺序相乘，结果通过Sigmoid激活函数，输出神经元中值最大的索引代表分类输出。通过输入标签减去输出激活值计算误差。
  • 输出权重的更新过程采用流水线方式，减少训练所需的时钟周期。所有加法和乘法操作由基于位精度的定点加法器和乘法器完成，确保在DSP较少的FPGA板上的可移植性。
• 隐藏神经元模块 ：每个隐藏神经元单元有一个LFSR、一个自定义加法器和一个自定义乘法器。为使每个隐藏神经元的权重