神经网络学习（1）：cells +layers

神经网络学习（1）：cells +layers

NEURAL NETWORK ZOO PREQUEL: CELLS AND LAYERS

一、 神经元（cells）

神经网络图表展示了不同类型的 神经元（cell） 和不同的 层（layer） 连接样式，但它并没有深入研究每个神经元的工作方式。最初给不同类型的神经元设置不同的颜色来更清晰地区分网络，但后来发现这些神经元的工作方式或多或少是相同的，所以给出以下描述。

1、基础神经网络神经元（basic neural network cell），可以在常规的前馈体系结构中找到，非常简单。神经元通过权值与其他神经元连接，即可以连接到前一层的所有神经元。每个连接都有自己的权值，通常一开始只是一个随机数。权重可以是负的、正的、非常小、非常大或零。（人工神经网络的权重初始化，会直接影响到之后的训练过程，以及整个模型的性能）

它连接到的每个神经元的值乘以其各自的连接权值，将所有结果都加在一起，再加上一个偏置得到总和。这个总和通过一个激活函数传递，得到的输出就是神经元的值。

偏置可以防止神经元陷入输出为零的状态，还可以加快某些操作的速度，减少解决问题所需的神经元数量。偏置也是一个数字，有时是常数(通常是-1或1)，有时是变量。

2.1、卷积神经元（Convolutional cells） ，很像前馈细胞，只是它们通常只与前一层的几个神经元相连