23、混合全局优化方法在监督学习中的应用：软木瓷砖自动识别与分类案例

混合全局优化方法在监督学习中的应用：软木瓷砖自动识别与分类案例

1. 监督学习与全局优化方法概述

监督式神经网络（NN）学习是将输入模式和已知目标呈现给神经网络，使其学会按期望识别（分类、映射、拟合等）这些模式的过程。从数学角度看，学习过程可定义为一个优化问题，即最小化表示期望输出与实际输出差异的误差函数。

目前，最流行的监督学习技术是基于梯度的反向传播（BP）算法，但它存在局部极小值问题。为解决这一问题，人们开始采用全局优化（GO）方法进行监督式神经网络学习。随机和启发式的GO方法，如进化算法（EA），在过去几十年中展现出了良好的性能。EA比BP及其改进算法更强大，但结合了一种或多种GO技术和局部搜索的混合方法表现更佳。

以下是一些相关研究的对比：
|研究人员|研究内容|结论|
| ---- | ---- | ---- |
|Alba & Chicano (2004)|比较了两种BP实现、遗传算法（GA）和两种GA与局部方法结合的混合方法在医学问题NN学习中的应用|混合方法优于局部搜索和简单的基于种群的技术|
|Ludemir et al. (2006)|用结合模拟退火（SA）、禁忌搜索（TS）和BP的混合方法同时优化NN权重和拓扑|新方法在四个分类和一个预测问题上优于SA和TS|
|Plaginakos et al. (2001)|评估了六种差分进化（DE）实现、BP、BPD、SA、BP和SA的混合方法（BPSA）和GA|推荐使用GO方法而非标准BP，BPD方法表现最佳|
|Rocha et al. (2003)|比较了简单EA、两种EA与局部搜索结合的方法、BP和改进BP在十个分类和回归示例的NN训练中的应