13、神经动力学优化：迈向非凸性

神经动力学优化：迈向非凸性

1. 引言

优化在自然界中普遍存在，也是工程领域的重要工具。作为生物神经系统的对应物，经过合理设计的人工神经网络可以作为目标导向的计算模型，用于解决许多应用中的各种优化问题。在许多工程应用，如最优控制和信号处理中，获取实时局部最优解比花费时间寻找全局最优解更为重要。在这类应用中，由于具有内在的并行性，递归神经网络通常比数值优化方法更具优势。

自20世纪80年代Tank和Hopfield的开创性工作以来，用于解决优化问题的递归神经网络受到了广泛关注。在过去的二十年里，已经开发了许多用于解决凸优化问题的模型，从早期的基于惩罚方法的神经网络、开关电容神经网络和确定性退火神经网络，到最新的模型。这些最新模型的一个共同特点是，它们都是基于问题的最优性条件构建的，因此它们的平衡点正好对应于问题的解。更重要的是，如果将这些神经网络应用于解决非凸优化问题，在临界点（而不是全局最优）的意义上，这种良好的性质将得以保留。然而，目前尚不能保证这些基于最优性条件的神经网络可以直接用于解决非凸优化问题。在设计用于优化的递归神经网络时，除了让平衡点对应于解之外，还需要确保网络在这些平衡点处的稳定性。

2. 预备知识

在本文中，若无特殊说明，采用以下符号：$\mathbb{R}^n$ 表示 $n$ 维实数空间，$\mathbb{R} +^n$ 表示其非负象限。若函数 $g: \mathbb{R}^n \to \mathbb{R}$，则 $\nabla g \in \mathbb{R}^n$ 表示其梯度，$\nabla^2 g \in \mathbb{R}^{n\times n}$ 表示其海森矩阵。若 $g(x, y): \mathbb{R}^n \