单个神经元的扩展——Maxout网络

一 介绍

Maxout网络可以理解为单个神经元的扩展，主要是扩展单个神经元里面的激活函数。

Maxout是将激活函数变成一个网络选择器，原理就是将多个神经元并列地放在一起，从它们的输出结果中找到最大的那个，代表对特征相应最敏感，然后取这个神经元的结果参与后面的运算。

下图是单个神经元和Maxout网络的对比

它的公式可以理解成：

z1=w1*x+b1

z2=w2*x+b2

z3=w3*x+b3

z4=w4*x+b4

...

out=max(z1,z3,z3,z4,...)

为什么要这样做呢。神经元的作用，类似人类的神经细胞，不同的神经元会因为输入的不同而产生不同的输出，即不同的细胞关心的信号不同。依赖于这个原理，现在的做法就是相当于同时将多个神经元放在一起，哪个效果更好就用哪个。所以这样的网络会有更好的拟合效果。

二 实例描述

Maxout网络的构建方法：通过reduce_max函数对多个神经元的输出来计算Max值，将Max值当作输入按照神经元正反传播方向进行计算。

三 代码

from tensorflow.examples.tutorials.mnist import input_data
mn