【Paper论文精读】 02 深度学习综述(Deep Learning)

最新推荐文章于 2024-05-08 17:06:45 发布
最新推荐文章于 2024-05-08 17:06:45 发布
阅读量1.3k 收藏 9
点赞数 2
CC 4.0 BY-SA版权
分类专栏： ▼ 人工智障 >> Paper精读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33592583/article/details/97790497
Paper论文精读 – 深度学习综述(Deep Learning)

0.1 论文介绍和作者介绍

  • 作者: Yann LeCun, Yoshua Bengio, Geoffrey Hinton
  • Geoffrey Hinton
    • 多伦多大学
    • 1986 反向传播算法
    • 1983 发明波尔茨曼机
    • 2012 对卷积神经网络进行改进
  • Yann LeCun
    • 1980 发明卷积神经网络
    • 1980末 首次将卷积神经网络用于手写数字识别
  • Yoshua Bengio
    • 蒙特利尔大学
    • 1990 将神经网络和概率模型结合在一起
    • 2000 使用高维词向量来表征自然语言处理
  • 文章发表时间:2015

0.2 论文意义和主要内容

  • 论文意义:
    • 总览深度理论,模型,展开人工智能的新蓝图
    • 探究深度学习最重要的算法和理论
  • 主要内容
    • 概念:
      • 深度学习允许多个处理层组成的计算模型来学习具有多个抽象级别的数据表示,这些方法极大地改善了语音识别
      • 改善了视觉对象识别,物体检测以及药物发现和基因组等其他领域的技术
    • 原理:
      • 深度学习通过使用反向传播算法来指示机器应该如何更改其内部参数(用于从前一层的表示计算每个层中的表示)来发现大数据集中的复杂结构
    • 应用:
      • 深度卷积网络CNN在处理图像,视频,语音和音频带来了突破
      • 而循环神经网络对文本和语音等顺序数据进行了彰显

0.3 论文结构:

  • 1.引言 Introduction
  • 2.监督学习 Supervised Learning (P1-P3)
  • 3.反向传播算法 BackPropagation
  • 4.卷积神经网络 CNN Convolutional neural networks
  • 5.基于深度神经网络的图片理解 Image understanding
  • 6.分布表示和语言模型 Language processing
  • 7.循环神经网络 RNN Recurrent neural networks
  • 8.深度学习的未来 The future

0.4 前期知识储备

  • 了解基本的机器学习算法
  • RNN: 循环神经网络,掌握RNN的基本工作原理
  • CNN: 了解神经网络的结构和工作原理

0.5 课程安排和学习建议

  • day1 论文视频讲解
  • day2 泛读论文,已经标注了重点
  • day3 论文视频讲解
  • day4 精读论文,写分析笔记
  • day5 论文视频讲解
  • day6 作业,撰写博客

0.6 学习建议

  • 精读经典论文
  • 跟进最新论文
  • 整理关注论文
  • 复现领域论文
    • 加深对论文的理解
    • 提高算法的能力
  • 写作论文

1.引言

在这里插入图片描述

解释: 深度学习方法是拥有多级表示的学习方法,通过组合简单但非线性的模块来获得,每个模块将表示一个级别,从原始的输入开始转换为更高的表示,稍微更多的抽象层次呢,能够足够地组合这种变换,可以学习非常复杂的功能

简单的方式理解: 用深度学习的方式和方法,多层的神经网络,来找到一个函数,这个函
最低0.47元/天 解锁文章

200万优质内容无限畅学
【论文精读】ResNet (Deep Residual Learning for Image Recognition）
weixin_54098256的博客
02-01 933
退化问题指的是当网络变深后性能还不如浅层的网络。如Figure 1. 所示，56层的训练和测试误差比20层还大。
【深度学习 论文篇 02-1 】YOLOv1论文精读
qq_45562973的博客
04-15 1725
Python微信订餐小程序课程视频 https://blog.youkuaiyun.com/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.youkuaiyun.com/m0_56069948/article/details/122285941目录 1. 简介 2. 论文思想 2.1 算法流程 2.2 网络结构 2.3 预训练分类网络 2.4 训练检测网络 2.5 损失函数（L2 Loss） 3. YOLOv1的缺陷 4. 其他一些检测
深度学习综述（英文）
07-26
Deep learning in neural networks: An overview In recent years, deep artificial neural networks (including recurrent ones) have won numerous contests in pattern recognition and machine learning. This historical survey compactly summarizes relevant work, much of it from the previous millennium. Shallow and Deep Learners are distinguished by the depth of their credit assignment paths, which are chains of possibly learnable, causal links between actions and effects. I review deep supervised learning (also recapitulating the history of backpropagation),unsupervised learning, reinforcement learning & evolutionary computation, and indirect search for short programs encoding deep and large networks.
深度学习-LeCun、Bengio和Hinton的联合综述
csyhhb的专栏
06-02 2869
摘要：最新的《Nature》杂志专门为“人工智能 + 机器人”开辟了一个专题 ，发表多篇相关论文，其中包括了LeCun、Bengio和Hinton首次合作的这篇综述文章“Deep Learning”。本文为该综述文章中文译文的上半部分。 【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年
介绍深度学习(Deep Learning)的3篇经典英文综述和2篇中文综述
07-01
深度学习（Deep Learning)被《麻省理工学院技术评论》杂志列为2013年十大突破性技术之首。 自2006年以来，深度学习在学术界持续升温。 但目前系统性地介绍 深度学习 技术的资料相对较少。 本资源里包括介绍深度学习的3篇经典英文综述，由深度学习专家Yoshua Bengio所写。 以及2篇，我在万方和中国期刊网上能找到的，仅有的中文综述。供需要的人阅读和下载。
NLP paper精读（一）——Deep Learning
NLP翟
06-10 679
Deep Learning 论文笔记前言监督学习反向传播算法卷积神经网络 本论文是人工智能领域三大牛人在2015年Nature上发表的文章，掀起了人工智能的热潮，进入了全名DL的时代，同时这三位作者也在2019年获得了图灵奖。 本文的内容是按照论文的行文，摘取最重要的部分做相应的记录。 前言 Deep Learning 可以让多层计算模型去学习和拟合高层的抽象表示，同时完成复杂的计算与表达。 几十...
深度学习(Deep Learning)算法简介
weixin_30525825的博客
10-08 1776
Comments from Xinwei: 最近的一个课题发展到与深度学习有联系，因此在高老师的建议下，我仔细看了下深度学习的基本概念，这篇综述翻译自http://deeplearning.net，与大家分享，有翻译不妥之处，烦请各位指正。 查看最新论文 Yoshua Bengio, Learning Deep Architectures for AI, Foundations and T...
精读论文：Urban Traffic Prediction from Mobility Data Using Deep Learning
汪汪汪的博客
11-14 1780
Urban Traffic Prediction from Mobility Data Using Deep Learning IEEE Network 2018 李默组的论文 OUTLINE mobility data 的四种分类 传统方法及三种任务的介绍 深度学习在三种任务中的进展 未来的两个研究方向 文章把预测交通的 mobility data 分成如下几类 Traffic Dat...
综述2022_Revisiting Deep Learning Models for Tabular Data
最新发布
qq_45972323的博客
05-08 645
关于表格数据深度学习的现有文献提出了各种新颖的架构，并报告了各种数据集上的竞争结果。然而，所提出的模型通常没有适当地相互比较，现有的作品往往使用不同的基准和实验协议。因此，研究人员和实践者都不清楚什么模型表现最好。此外，该领域仍然缺乏有效的基线，即在不同问题上提供有竞争力的性能的易于使用的模型。在这项工作中，我们对表格数据的DL架构的主要系列进行了概述，并通过识别两个简单而强大的深层架构来提高表格DL中的基线。第一个是一个类似ResNet的架构，这是一个强大的基线，在以前的作品中经常缺失。
[DeepLearning]papers
apsvvfb的专栏
04-15 889
CVPR2015: Show and Tell: A Neural Image Caption Generator to use a CNN as an image “encoder”, by first pre-training it for an image classification task and using the last hidden layer as an input
Deep learning REVIEW。深度学习三大牛在《Nature》杂志首次合作的发表综述文章《Deep Learning》。
09-18
Deep learning REVIEW--三位大牛的Nature。深度学习三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在最新的《Nature》杂志首次合作的发表综述文章《Deep Learning》。
大牛Yann LeCun关于深度学习的综述报告（2013）
01-04
Title: Deep Learning Tutorial Reporter: Yann LeCun (Center for Data Science & Courant Institute, NYU) Site: ICML, Atlanta, 2013-06-16
Nature:Deep Learning 深度学习综述
热门推荐
因为懂得的博客
06-09 1万+
翻译：https://artificial-intelligence.net.cn/2019/06/05/1559711811/?from=singlemessage&isappinstalled=0 作者：Yann LeCun, Yoshua Bengio ,Geoffrey Hinton 发表及时间：Nature，2015 概念：深度学习允许由多个处理层的计算模型来学习具有多个...
【Paper论文精读】 01. 如何去读论文?
https://github.com/Wheeeeeeeeels
07-30 254
Paper精读 – 1 如何去读论文? 读什么样的论文 综述: 包含该方向经典的发展历程,帮助补充必要的基础知识 熟悉一些关键算法和技术栈,可以在时间中验证效果,快速找到可落地方案 代表性论文: 该领域关键的技术论文,可以从综述或者其他算法的Related Works中获得 通常可以通过开源代码进行快速落地 前沿论文,了解该领域的发展方向,科研必备 读哪些论文? 关注...
深度之眼Paper带读笔记GNN.03.SDNE
老毛的博客
09-06 1244
文章目录前言论文结构学习目标论文研究背景、成果、意义研究背景 前言 本课程来自深度之眼，部分截图来自课程视频。 文章标题：Structural Deep Network Embedding 结构化深度网络特征表示 作者：Daixin Wang, Peng Cui, Wenwu Zhu 单位：Tsinghua 发表会议及时间：KDD 2016 论文结构 Abstract：提出之前多为浅层模型并提出SDNE模型，使用了一阶相似度和二阶相似度的概念。 Introduction：介绍学习图的表征的重要性、低维的分
Deep Review深度学习殿堂级综述-笔记
weixin_41877215的博客
06-11 1193
Deep Review深度学习殿堂级综述-笔记论文意义及主要内容论文结构1.引言2.监督学习3.反向传播算法4.卷积神经网络5.基于深度卷积神经网络的图片理解6.分布表示和语言类型7.循环神经网络（RNN）8.深度学习的未来 论文意义及主要内容 2015年Yann LeCun、Yoshua Bengio、Geoffrey Hinton发表。 概念：深度学习允许由多个处理层组成的计算模型来学习具有多...
深度之眼Paper带读笔记NLP.16：卷积seq2seq
老毛的博客
10-22 898
文章目录前言第一课 论文导读序列到序列模型Seq2Seq类型卷积神经网络前期知识储备 前言 Convolutional Sequence to Sequence Learning 基于卷积的序列到序列学习 作者：Jonas Gehring 单位：Facebook AI Research 发表会议及时间：ICML2017 在线LaTeX公式编辑器 a. Seq2seq NLP中的一类任务就是序列生成...
深度之眼Paper学习笔记（cv方向）
wwty998的博客
04-29 831
深度之眼Paper学习笔记（cv方向） 1.Deep learning 作者：Geoffrey Hinton、Yoshua Bengio、Yann LeCun 深度学习的应用领域： 无人驾驶领域、图片识别领域、自然语言处理（智能搜索、人机对话、文本摘要、机器翻译、医学图像分析、人脸识别、机器自动翻译 反向传播算法：其中正向传播算法是计算，反向传播算法是求补偿 卷积神经网络（CNN）:CNN成功的减少了参数 CNN理解图片： 2.Alexnet（ILSVRC大规模图像识别挑战赛） 机器学习： 神经网络： 图像
深度之眼Paper带读笔记NLP.9：基于CNN的词级别的文本分类.Baseline.05
老毛的博客
09-26 1195
文章目录前言第一课 论文导读文本分类简介文本分类文本分类发展历史机器学习文本分类相关方法前期知识储备 前言 本课程来自深度之眼deepshare.net，部分截图来自课程视频。 文章标题：Character-level Convolutional Networks for Text Classification 原标题翻译：基于CNN的字符级文本分类 作者：Xiang Zhang，Junbo Zh...
深度学习论文集萃：ML_paper-master解析
"深度学习"标签的使用再次强调了文件内容与深度学习领域密切相关，可能包含了与深度学习相关的论文、算法、应用案例、实验结果等。 压缩包子文件的文件名称列表: ML_paper-master 文件名称列表通常包含一个或多个...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值