多序列离散递归下降优化器(MDRDO)论文精读

论文标题为Multi-sequence discrete recursive descent optimizer: a novel optimization algorithm based on quasi-Newton directions and imprecise search step lengths

前言

在优化算法的发展史中，我们见证了两大阵营的长期"竞争"和博弈。一方是数学理论完备、收敛性有保障的确定性方法（如梯度下降、牛顿法、共轭梯度法等），这些方法拥有坚实的数学基础，收敛速度往往很快，但对目标函数的要求非常苛刻。另一方是灵活多变、适应性强的随机启发式算法（如遗传算法、粒子群优化、蚁群算法等），这些方法应用广泛，对问题的要求宽松，但往往缺乏深层的理论依据。

长期以来，从业者和研究者陷入了一个"两难选择"：要么采用理论严谨但实用性受限的确定性方法，要么采用适应性强但理论模糊的启发式算法。这两个阵营似乎在说"鱼和熊掌不可兼得"。

但这篇发表在《Artificial Intelligenc