2、混合全局优化方法在监督学习中的应用：软木瓷砖自动识别与分类

混合全局优化方法在监督学习中的应用：软木瓷砖自动识别与分类

1. 监督学习与全局优化方法概述

监督式神经网络（NN）学习是一个向神经网络呈现输入模式和已知目标，使其学会按期望识别（分类、映射、拟合等）这些模式的过程。从数学角度看，学习被定义为一个优化问题，即最小化表示期望输出与实际输出差异的误差函数。然而，最流行的监督学习技术，如基于梯度的反向传播（BP）算法，存在局部极小值问题。这促使人们将全局优化（GO）方法应用于监督式神经网络学习。

在过去几十年里，包括进化算法（EA）在内的随机和启发式GO方法表现出了良好的性能。EA比BP及其改进算法更强大，但结合了一种或多种GO技术和局部搜索优势的混合方法被证明效果更好。例如，一些研究将遗传算法（GA）与不同的局部方法结合用于神经网络学习，应用于医学问题；还有研究将模拟退火（SA）、禁忌搜索（TS）和BP结合，同时优化神经网络的权重和拓扑结构。

2. 用于训练神经网络的新型全局优化方法

2.1 LPτ优化（LPτO）方法

LPτO是一种基于LPτ低差异点序列的启发式、基于种群的GO技术。它利用LPτ序列均匀探索搜索空间，对于小维度和中等维度问题，使用低差异点序列可减少计算时间。此外，Sobol的LPτ点对于高维度问题也非常有用，特别是当目标函数强烈依赖于部分变量时。

LPτO还包含一套新颖的、基于逻辑的自适应启发式规则，用于指导搜索过程。该方法后来与Nelder - Mead单纯形搜索结合形成混合LPτNM技术，在一些多模态数学函数和中等维度的神经网络学习任务中表现出了竞争力。但随着问题维度的增加，其计算负荷增大，性能下降。

2.2 LPτ低差异点