5、神经网络相关知识全解析

神经网络相关知识全解析

一、神经网络基础概念

神经网络传统上指的是生物神经元的网络或回路。而如今，这个术语更多地指人工神经网络（ANN），它由人工神经元或节点组成，这些编程结构模拟了生物神经元的特性。神经元之间一组带权重的连接，使得信息能够在网络中传播，从而解决人工智能问题，而无需网络设计者拥有真实系统的模型，其目标是实现良好的、类似人类的预测能力。

二、常见问题及解答

（一）多层反向传播神经网络用于分类

• 问题描述 ：有人询问如何使用多层反向传播（MLBP）神经网络对类似MNIST的数据进行分类。当有多个输出（例如8个）时，不知道该选择哪个输出。如果只有一个输出，分类相对容易。
• 解答 ：
  • 当需要将数据分为K类（K > 2）时，常用的方法是独热编码（one hot encoding）。此时会有K个输出列，在训练集中，除了类别索引对应的输出值为1外，其他输出值都设为0。这样，每个训练数据集实例的所有输出值要么为0要么为1，且每个实例的所有输出值之和为1。
  • 这种输出形式类似概率，可使用softmax函数对输出值进行约束，使其表现为概率形式。最后，无论是否使用softmax函数，都可以将输出作为判别函数来选择合适的类别。
  • 另外，应避免以关联方式对变量进行编码，例如使用类别索引的二进制表示会在某些输出之间引入人为的关联，而独热编码对标签的索引方式是中立的。

（二）MLP中批量更新和单个更新的正则