23、前馈神经网络开发指南

前馈神经网络开发指南

1. 神经网络基础

神经网络（NN）是由简单处理元素组成的有向图。图中的每个顶点是一个神经元，每条边是一个传出轴突，神经元通过它向其他神经元发送信息。神经网络有一个输入层，由一组从传感器接收信号的神经元组成；还有一个输出层，由一组连接到执行器的神经元组成。

1.1 学习算法

神经网络能否执行智能或有用的任务取决于其拓扑结构和参数。修改这些拓扑结构和参数的方法就是学习算法的任务。学习算法可以分为有监督学习和无监督学习：
- 有监督学习 ：例如误差反向传播学习算法，需要提前知道神经网络的输出，以便根据其产生的输出与正确输出之间的差异进行修正。当将期望答案与神经网络给出的答案之间的差异最小化后，就可以将神经网络应用于一组新的数据或同一领域中它在训练期间未遇到的问题。
- 无监督学习 ：如进化或强化学习算法，只需要能够判断一个神经网络系统是否比另一个表现更好。不需要确切知道问题应该如何解决，神经网络会自行尝试找出解决方案，研究人员只需选择产生更好结果的神经网络。

1.2 基因型与表现型

在开发神经网络时，会涉及到基因型和表现型的概念。基因型是生物体的完整遗传信息，以突变或不变的形式传递给后代；表现型是生物体实际观察到的属性，包括其形态和行为。将基因型表示映射到表现型表示的过程称为发育，也可称为映射。在本章构建的神经网络系统中，基因型将是一个元组列表，表现型是一个相互连接的进程图，这些进程相互发送和接收消息。

基因型的编码可以是直接编码或间接编码：
- 直接编码