神经网络与机器学习 笔记—复制器（恒等）映射

    反向传播算法是一个对于计算代价函数的梯度（即一阶导数）计算有效的技术。代价函数由刻画多层感知器的可调参数（突触权值和偏置）的函数来表示。算法计算能力是由两个明显的性质而导出的：反向传播算法是局部计算简单的；当算法是在线（逐次）学习时它实现权值空间的随机梯度下降。

    反向传播算法是依靠局部计算来发现神经网络信息处理能力的一个连接论者范例的例子。计算限制的这种形式称为局部约束，它是指单个神经元实现的计算仅受那些与它有物理接触的神经元的影响。在（人工）神经网络的设计中提倡利用局部计算通常有三个主要理由：1.实现局部计算的神经网络常常被作为生物神经网络的类比来推举。2.由于使用局部计算允许由于硬件错误引起的平稳的性能下降，因此为容错网络设计提供基础。3.局部计算支持作为神经网络实现有效方法的并行体系结构。

    通过反向传播算法训练的多层感知器的隐藏神经元作为特征检测器扮演者重要的角色。利用多层感知器的这个重要的性质的一个新方法是使用它作为复制器或者恒等映射。                                  

具有一个隐藏层的作为编码器的复制器网络（恒等映射）

复制器网络监督训练的方框图：