FINN（二）CNN，BNN及其硬件实现的背景知识

2.1 CNN

这项工作的重点是监督学习，其目标是找到一个函数g（x_i），它近似于映射x_i→y_i ∀i，其中{x_i，y_i}是一个输入/输出对，称为训练样例。 多层感知器是一种人工神经网络，其神经元在多层中排列，神经元将前一层的所有神经元的输出作为输入。 在数学上，全连接网络的第l层中nth神经元的输出a_l，n计算如下：

其中w_l，n，s是 l^th层中s^th突触与n^th神经元的输入相连的的权重，b_l，n是偏置项，f_act是激活函数，S₁是连接到l^th层中每个神经元的突触数。

流行的激活函数包括：双曲正切函数，f_act（a）= tanh（a）; 和整流线性单位（ReLU），f_act（a）= max（0，a）。 此外，我们只研究推理问题，假设认为参数w已经被学习了。

卷积神经网络（CNN）是多层感知器的变体，其中，前一层仅接收来自前一层的小接收场的输入。 这种方法大大减少了所涉及的参数数量，但仍能找到局部特征（例如：边缘，角落）。

神经网络中的基本2D卷积层类似于全连接层，除了以下的不同外：
a）每个神经元接收的图像为 输入，生成的图像作为其输出（而不是标量）;
b）每个突触学习一小部分（卷积窗口的大小）权重;
c）输出图像中的每个像素是由所有突触权重和相应图像之间的卷积的总和得到的。

l^th卷积层的输出，需要输入S_l个尺寸为R_l×C_l的图像，（r，c）位置上的像素、p_{l，n，r，c}，n^th图像输出计算如下：