阅读笔记:《ImageNet Classfication with Deep Convolutional Neural Networks》

本文介绍了一种深度优化的AlexNet网络,通过60M参数和65万神经元,实现了ImageNet子集上37.5%的top-1错误率和17.0%的top-5误差。关键创新包括非饱和ReLU、LRN归一化、覆盖池化和双重防过拟合策略(数据增强与Dropout)。网络结构包括5个卷积层和3个全连接层,深度优化对于性能至关重要。

一、Abstract

        1. Acieve top-1 and top-5 error rates of 37.5% and 17.0%。

        2. This networks has 60 million parameters and 650,000 neurons. 由5个卷积层(有一些后面连着最大池化层)和三个全连接层组成,最后输出1000个softmax的分类结果。

        3. 为了训练得更快,采用非饱和的神经元,并且在非常高效的GPU上来实现卷积操作。

        4. 为了在全连接层减少overfitting, 采用正则化方法dropout。

二、Introduction

        1. 被标注的图像数据集太小,需要更多训练集和更好的模型。

        2. CNNs不同的宽度和深度可以来控制网络的能力,并且CNNs参数更少和连接,因此更容易去训练,只是理论上的最佳性能较差。虽然CNNs有比较好的性能,在它们局部架构上也相对比较高效,但是应用在大规模高分辨率的图像上还是比较昂贵。

        3. contributions of this paper

                (1)在ImageNet的子集上训练了其中最大的卷积神经网络,并且实现了在这些数据集上至今为止最好的结果。

             (2)该网络包含了一些新的和不常见的特征,这些特征提高了表征并且减少了训练的时间。

        &nb

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值