zhufenghao

1. DNN分别由卷积层、最大池化层交替形成，激活函数选取tanh，分类层使用softmax分类器，权重初始化为[-0.05,0.05]的均匀分布随机数。训练过程为：1. 训练前数据集预处理：是对整个数据集非随机的处理 原始数据集中的包含交通指示部分的区域大小变化很大，不在图像的中心且不是正方形的，我们只处理交通指示边界内的图像。在保证所有图片大小一致的情况下，我们使用在不同坐标上不同的缩放尺度

1. 数据集ImageNet数据特征：15 million张，22000类，分辨率高且多样预处理：降采样到256×\times256固定分辨率，对矩形边框的图像，先让短边缩小到256，然后剪裁出中心的256×\times256的部分。使用中心化的原始RGB像素，即每张图片剪掉训练集中所有像素点的均值。2. 结构1. ReLU 非线性tanh和logistic函数都是饱和非线性激活函数，梯度下降

1. Dropoutdropout可以训练集成模型，它们共享参数并近似的对这些模型的预测进行了平均。它可以被当作一种通用的方法用在任何一种MLP和CNN模型中，但是在论文中，由于dropout的模型平均过程没有被证明，因而一个模型最好的性能的获得，应该通过直接设计这个模型使之可以增强dropout的模型平均的能力。使用了dropout的训练过程和一般的SGD方法完全不同。dropout在更新时使用

1. 结构配置预处理只有减去所有RGB像素的均值使用最小的感受野3×\times3，如果选择1×\times1，则可作为输入通道的线性变换（后面跟着激活函数的非线性）。卷积stride 1，pad 1（卷积图大小不会因为卷积而改变）共5个最大池化，窗口2×\times2，stride 2全连接层前两层4096，输出1000所有激活选择ReLU，不使用局部响应归一化深度从11（8+3）到

1. 分类固定输入最短边大小为256（训练使用多尺度缩放）提取5个随机剪裁和水平翻转的231×\times231图片batchSize 128权重初始化均值0，标准差0.01的均匀分布，momentum 0.6惩罚系数1e-5学习率0.05，(30, 50, 60, 70, 80) epochs分别降低0.5全连接层dropout 0.5不使用局部响应归一化池化操作非重叠 注

1. CNNCNN中的滤波器是一种广义的线性模型（GLM），它的抽象水平较低，而抽象可以使特征具有不变性。要让GLM有好的抽象，样本中隐含的概念必须是线性可分的。因此一般的CNN默认的先验是样本中隐含概念是线性可分的，而实际情况往往是非线性可分的。为了弥补这一缺点，一般的CNN会使用一些过完备的滤波器来探测所有隐含概念的变种（即需要很多个滤波器探测同样的隐含概念的不同变种），而这样会使得高层因为考

1. 动机提高深度网络的性能可以通过加深网络的深度和宽度，但是缺点是容易过拟合且计算量大。所以应该采用稀疏连接结构代替全连接结构，但是现有设备对稀疏计算并不高效，所以依然只采用稠密计算。Inception是一种逼近稀疏连接的结构。2. 结构细节Inception主要思想是在卷积网络钟逼近最优局部稀疏结构，一旦找到就可以在空间上重复使用。在逐层构建中，分析上一层的相关性统计并将高相关性的单元聚集到一起