3、优化算法在机器学习与工程问题中的应用探索

优化算法在机器学习与工程问题中的应用探索

在机器学习和工程领域，优化算法对于提升模型性能和解决实际问题起着至关重要的作用。本文将深入探讨两种不同类型的优化算法及其应用，包括用于优化极限学习机的和谐搜索算法以及用于工程问题优化的自由说唱和谐搜索算法。

和谐搜索算法优化极限学习机

在极限学习机（ELM）中，隐藏层参数通常随机初始化并在训练过程中保持固定。这导致输出权重基于随机输入权重和隐藏偏置计算，使得ELM往往比基于梯度的算法需要更多的隐藏神经元。为了克服这一问题，提出了几种混合方法，包括HS - ELM、IHS - ELM、GHS - ELM和ITHS - ELM。

ITHS算法的即兴创作方案

ITHS（改进的和谐搜索算法）将和谐向量分为两组。第一组包含目标函数值优于整个和谐记忆（HM）目标函数值均值（fmean）的所有和谐向量，负责开发和探索；第二组是其余向量，仅负责探索。以下是ITHS算法中即兴创作新和谐的过程：

Algorithm 2: Improvisation scheme of ITHS algorithm
1 P AR(it) = P ARmax −P ARmax −P ARmin
N I
× it
2 for j = 1 to D do
3
if r1 <= H MC R then
4
Snew, j = Sa, j, where a ∈(1, 2, ..., H MS)
5
if r2 <= P AR(it) then
6
if f (Sa) is better than fmean then
7
/* First group */
8
i