【秋招复习——深度学习】GoogLeNet

Inception系列从V1至V4不断进化,通过引入BN、Factorization等技术解决过拟合和梯度消失等问题,最终融合ResNet思想。各版本重点在于优化结构、减少参数和提升效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Inception v1\v2\v3\v4创新点总结:

Inception v1 (GoogleNet) 2014
Inception v2 (Batch Norm) 2015
Inception v3 (Factorization) 2015
Inception v4 (ResNet) 2016

一、GoogLeNet Incepetion V1

为了解决巨量参数带来的过拟合和大大增加了计算成本的问题提出了 Inception结构
【inception】
- 密集成分 来近似最优的局部稀疏结构
- 始用NIN,采用1*1卷积降维,降低参数量
【总结】
- googlenet采用了模块化结构,方便添加和修改
- 网络的最后采用了average pooling 来替代全连接层。(但在最后还是加了一个全连接层,主要是为了方便以后finetune)
- 虽然移除了 全连接层,但是还是在网络中使用了dropout
- 为了避免梯度消失,网络额外增加了两个辅助的softmax 用于向前传到梯度。

二、GoogLeNet Incepetion V2

  • 加入了BN batch noramalization 加快了学习 减少了计算量
  • 解决梯度消失和梯度爆炸问题
  • 学习了VGG用两个3´3的卷积代替5´5的大卷积

三、GoogLeNet Incepetion V3

给出了一些已被证明有效的用于放大网络的通用准则和优化方法。
  • 避免表达瓶颈,特别是网络靠前的地方。
    (信息流前向传播过程中显然不能经过高度压缩的层,即表达瓶颈。从input到output,feature map的宽和高基本都会逐渐变小,但是不能一下子就变得很小。)
  • 高位特征更容易处理。高维特征更容易区分,回加快训练
  • 可以在低维度上惊喜空间汇聚,二无需担心丢失更多信息。比如在进行3*3卷积之前,可以对输入降维,而不会产生严重后果。
  • 平衡网络的深度和宽度。
优化Inception结构

引入Factorizaiton into small conv 的思想:
一个较大的二维卷积拆分成两个较小的一维卷积。如 7*7 拆分成 1 * 7 和7 * 1
好处有三:
1.节约的大量参数,加速运算。
2.增加了一层非线性,加强了模型表达能力。
3.非对称的卷积拆封,可以处理更多更丰富的空间特征。

第一张图 :是v1使用的 inception
第二张图:用3*3卷积 替代大核卷积
第三张图:用n * 1 替代大卷积核

优化辅助分类器
优化池化

按照传统的做法,在pooling之前,为了防止信息丢失,应当加入了expand层,如下图右半部分。这么做有个问题,会增加运算量。

上图可以这么理解,Szegedy利用了两个并行的结构完成grid size reduction,分别是conv和pool,就是上图的右半部分。左半部分是右半部分的内部结构。

优化标签

Labels的脉冲性质会引发两个不良后果:一是over-fitting,另外一个是降低了网络的适应性。

Szegedy在阐述完上面两个缺点后,补充了一句话,说不良后果的产生就是因为网络太依赖它所预测的结果。原来很突兀的one_hot_labels稍微的平滑了一点,分给其他labels,避免了网络过度学习labels而产生的弊端。

label smooth

new_labels = (1.0 - label_smoothing) * one_hot_labels + label_smoothing / num_classes

四、Inception V4

主要是结合了微软的 ResNet

### 回答1: 2023年的数字IC设计秋季招聘已经结束,现在来回顾一下这次复盘。整个招聘过程中,有数十家公司参加了笔试和面试,竞争非常激烈。 首先是笔试环节。笔试题目涵盖了数字电路设计、计算机组成原理、操作系统、数据结构等多个领域,题目难度也有所不同。其中,一些较难的题目需要对底层硬件有较深的理解和编程能力,还有一些考察算法和数据结构的应用,对于应聘者的基础能力要求较高。 然后是面试环节。面试中,面试官对于应聘者的技术能力、项目经验、学术背景等方面进行了深入的了解,考察了应聘者的思路清晰度、解决问题的能力、团队协作能力等方面。 整个招聘过程中,很多公司更注重应聘者的实际能力和潜力,将实力放在第一位,并且更加关注应聘者的全面素质和团队协作能力。 总的来说,这次数字IC设计秋招复盘展示了很多应聘者的编程能力和技术水平,对于应聘者而言更是一次宝贵的机会,同时也给了招聘公司更多的选择和发现优秀人才的机会。 ### 回答2: 2023数字IC设计秋招已经结束,各大公司也陆续公布了面试结果。回顾这次秋招的笔试和面试,可以发现许多新的趋势和特点。 笔试题趋势 首先,笔试题目趋向综合,不仅包括专业相关的知识,还涉及到诸如计算机编程、英语等的综合考核。这也足以印证了人才市场对于全面素质的重视。 其次,笔试题目更加注重实战能力,许多题目涉及到实际的设计场景和问题,需要熟练掌握工具的使用和项目的整体规划、协作。 再次,笔试题目考察重心更加突出学生的综合素质,注重全面考核应聘者的理解、分析、判断能力以及沟通协调等,更贴近企业实际需求。 面试特点 首先,面试对个人的专业能力和综合素质要求都很高,需要应聘者具备扎实的理论基础和实际工程经验,同时在沟通协调等方面也应有较强的个人能力。 其次,许多公司的面试特别注重细节问题,通过提问、测试等方式来发现和检验应聘者对细节的注意力和对整个系统的整体把握能力。 再次,许多企业对于应聘者的人品、性格、偏好等也会考究,主观因素对于面试结果有着不可忽视的作用。 总之,就目前的趋势来看,未来数学IC设计秋招中,企业会更注重全面素质的考核和综合能力的培养。希望广大参加秋招的同学都能沉淀好自己的能力,提高自身综合素质,为以后的职业发展夯实基础。 ### 回答3: 2023 数字 IC 设计秋招已经落下帷幕,各家公司的笔试题、面试实录也相继公布。我们可以通过分析这些题目和面试问题,来了解企业对应届毕业生的需求和期待,也可以总结自己的申请情况,为下一轮招聘做好准备。 首先,我们可以对各家公司的笔试题进行分类。大多数公司的笔试题目都围绕数字电路设计、模拟电路设计、通信电路设计、计算机组成原理等方向,题目难度较高,需要考生运用自己的专业知识进行解答。同时,也有部分公司会增加智力测试、数学逻辑等综合能力题目,考察应聘者的综合素质。为了应对这些题目,应聘者需要熟练掌握专业知识,同时也需要加强自己的综合能力训练。 其次,我们可以分析各家公司的面试问题。大多数公司的面试问题都是围绕应聘者的个人经历和能力进行的,包括个人介绍、自我评价、项目经验、职业规划等方面。同时,也有不少公司会增加逻辑思维类问题,考察应聘者的思维能力和解决问题的能力。为了应对面试,应聘者需要在个人经历和能力上强化自己的优势,并且提前思考可能会被问到的问题,对应准备相应的答案。 在总结这次秋招经验的同时,也要注意未来的趋势和发展方向。随着数字 IC 设计的不断发展和创新,新技术不断涌现,应聘者需要不断学习新知识和新技术,以适应未来发展的需求。同时,公司也会更加注重应聘者的综合能力和创新能力,因此应聘者需要在专业知识的基础上,注重自己的软实力和创新思维的培养。 总而言之,2023 数字 IC 设计秋招是一个很好的学习和锻炼机会。通过这次经历,应聘者可以更好地了解自己的实力和优势,也可以借此机会探索未来的发展方向和趋势。希望未来的应聘者可以以积极的心态面对挑战,不断学习和成长,为未来的数字 IC 设计行业做出更大的贡献。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值