74、神经网络训练方法与高性能化合物生成研究

神经网络训练方法与高性能化合物生成研究

1. 密集神经网络训练方法对比

在神经网络训练中，ELM（Extreme Learning Machine）训练方法和BP（Back Propagation）训练方法是两种常见的方式。通过在64核AMD Ryzen Threadripper 3990X上进行实验，对ELM训练的单隐层前馈网络（SLFF）和BP训练的多层感知机（MLP）的输出结果进行了分析。

训练方法	函数	效率	学习效果
ELM	Rastrigin函数	通常比BP方法更高效，但当可训练参数显著增加时，耗时增加，可能是由于广义矩阵求逆规模的二次增长	显著且持续比BP方法更有效地学习Rastrigin函数，均方误差（MSE）下降更快，对于相同数量的可训练参数，精度比BP训练的MLP高一个数量级，在增加可训练参数时能超越kNN基准
ELM	Ackley函数	-	略逊于BP训练的MLP，可能是因为该函数相对Rastrigin函数更平滑
BP（TensorFlow）	Rastrigin函数	-	学习效果不如EL