【Paper论文精读】 02 深度学习综述(Deep Learning)

Paper论文精读 – 深度学习综述(Deep Learning)

---

0.1 论文介绍和作者介绍

• 作者: Yann LeCun, Yoshua Bengio, Geoffrey Hinton
• Geoffrey Hinton
  • 多伦多大学
  • 1986 反向传播算法
  • 1983 发明波尔茨曼机
  • 2012 对卷积神经网络进行改进
• Yann LeCun
  • 1980 发明卷积神经网络
  • 1980末 首次将卷积神经网络用于手写数字识别
• Yoshua Bengio
  • 蒙特利尔大学
  • 1990 将神经网络和概率模型结合在一起
  • 2000 使用高维词向量来表征自然语言处理
• 文章发表时间:2015

0.2 论文意义和主要内容

• 论文意义:
  • 总览深度理论,模型,展开人工智能的新蓝图
  • 探究深度学习最重要的算法和理论
• 主要内容
  • 概念:
    • 深度学习允许多个处理层组成的计算模型来学习具有多个抽象级别的数据表示,这些方法极大地改善了语音识别
    • 改善了视觉对象识别,物体检测以及药物发现和基因组等其他领域的技术
  • 原理:
    • 深度学习通过使用反向传播算法来指示机器应该如何更改其内部参数(用于从前一层的表示计算每个层中的表示)来发现大数据集中的复杂结构
  • 应用:
    • 深度卷积网络CNN在处理图像,视频,语音和音频带来了突破
    • 而循环神经网络对文本和语音等顺序数据进行了彰显

0.3 论文结构:

• 1.引言 Introduction
• 2.监督学习 Supervised Learning (P1-P3)
• 3.反向传播算法 BackPropagation
• 4.卷积神经网络 CNN Convolutional neural networks
• 5.基于深度神经网络的图片理解 Image understanding
• 6.分布表示和语言模型 Language processing
• 7.循环神经网络 RNN Recurrent neural networks
• 8.深度学习的未来 The future

0.4 前期知识储备

• 了解基本的机器学习算法
• RNN: 循环神经网络,掌握RNN的基本工作原理
• CNN: 了解神经网络的结构和工作原理

0.5 课程安排和学习建议

• day1 论文视频讲解
• day2 泛读论文,已经标注了重点
• day3 论文视频讲解
• day4 精读论文,写分析笔记
• day5 论文视频讲解
• day6 作业,撰写博客

0.6 学习建议

• 精读经典论文
• 跟进最新论文
• 整理关注论文
• 复现领域论文
  • 加深对论文的理解
  • 提高算法的能力
• 写作论文

1.引言

解释: 深度学习方法是拥有多级表示的学习方法,通过组合简单但非线性的模块来获得,每个模块将表示一个级别,从原始的输入开始转换为更高的表示,稍微更多的抽象层次呢,能够足够地组合这种变换,可以学习非常复杂的功能

简单的方式理解: 用深度学习的方式和方法,多层的神经网络,来找到一个函数,这个函