神经网络学习笔记（三）

    在上一篇文章中提到了神经网络的结构，但是究竟选择怎么样的神经网络，怎么去架构神经网络，这就要涉及到本节所要讨论的问题：信息的表达。如何将获得的信息在神经网络中表达，并最终表达出想要的信息。就如同我们看到一件衣服，这件衣服在视网膜上呈现的信息怎么在大脑的神经网络中表达出来这就是一件衣服呢。

信息表达：

   神经网络体系中，可将信息分为两大类，第一类是我们预先知道的信息，统计学中的概念叫做先验知识。第二类是通过一些感知器感知到的信息（比如看到的，听到的信息）。一般来说，这些感知到的信息构成了神经网络的输入输出，也同时构成了每一个实例。

   这些实例可以是有标签的或者是没有标签的，神经网络系统需要一组有标签的实例构成的集合来做训练样本。比如手写数字识别问题，图像的各个点的像素值构成了神经网络的输入，而数字所属的类别构成了输出。对应于这个问题的神经网络构架的输入层就有与图像像素点个数相同的节点数作为输入，并且输出节点为10对应数字的类别总数。其次我们对神经网络的训练需要一组标明类别的图像集合作为训练样本。同样还需要一组未曾使用过的有标签的实例来检验系统的识别率以及泛化能力。

   信息在神经网络中的合理表达是架构设计合理的重要依据，除了上述输入输出信息的对应，以及特定样本的选取外。信息的表达还有四个重要的准则：

（1）相似的输入来自相同的类别应该在神经网络系统中有相似的表达，并且最终被分入同一个类别。

<