19、神经进化方法入门

神经进化方法入门

1. 神经进化概述

神经进化是一种通过神经网络和进化计算实现的机器学习方法。在神经网络能够发挥作用、进行学习或应用于特定问题之前，必须为其拓扑结构、每个神经元的突触权重和其他参数设定恰当的值，以构建出最终的功能系统。而进化过程可用于设定神经网络的拓扑结构和突触权重。

传统的神经网络优化与训练方法，如自组织映射（SOM）和基于赫布学习规则的可塑性神经元，存在一定局限性。SOM仅适用于特定问题，在创建SOM时，难以确定合适的地图密度、参数以及输入集。对于竞争性神经网络也存在类似问题。虽然可塑性神经元能自适应和学习，但整个神经网络的认知功能取决于其各种参数和拓扑结构。因此，对于复杂问题，像反向传播这样的监督学习方法可能并不适用，我们需要一种方法来设置正确的拓扑结构和神经网络参数，而不仅仅是调整神经元的突触权重。

进化算法是一种能够优化和扩展神经网络系统的优化算法。我们可以将神经网络和进化计算结合成一个神经进化系统。

2. 神经网络编码方法与变异算子

2.1 神经网络变异算子

为了实现神经网络系统的进化，需要合适的变异算子，主要包括以下几种：
- 调整突触权重 ：需要一种能够修改突触权重的变异算子，以调整神经元之间的连接强度。
- 添加新神经元 ：有多种添加新神经元的方式，例如在现有层中随机选择一层，添加新神经元并随机连接到网络中的其他神经元；或者断开两个已连接的神经元，通过新创建的神经元重新连接它们。
- 添加新突触连接 ：随机选择网络中的两个神经元，建立它们