深度学习_随记001

最新推荐文章于 2025-12-09 20:01:58 发布

原创

最新推荐文章于 2025-12-09 20:01:58 发布 · 782 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

文章目录

- OUC深度学习课程01周要点阅读笔记
- - 1.罗森布拉特的单层感知器：
  - 2.BP算法：
  - 3.CNN：
  - 4.DL盛世：
  - 5.ReLU激活函数
  - 6.下次学习预告（学习完成后会在相应知识点附blog链接）
  - - task1:自己手搓一个BP神经网络。
    - task2:SVM（支持向量机）。
    - task3:Fisher Vector（费雪向量）。
    - task4:‘适度复杂’且‘工程上高效’的激活函数。
    - task5:万能逼近定理。
    - task6:ReLU详解与拓展。

OUC深度学习课程01周要点阅读笔记

从宏观的角度上纵横了一遍神经网络的发展历程：

1.罗森布拉特的单层感知器：

稍加修改就能来到现代神经网络的起点。

2.BP算法：

反向传播算法，BP算法是神经网络的“学习引擎”——它通过反向传递误差，告诉每一个权重“该怎么改”，从而让网络越学越准，当然也存在梯度消失和梯度爆炸等问题。
task:可以尝试自己手搓一个BP神经网络。

3.CNN：

卷积神经网络，之后应该会有相应的实验任务，也可以看一下介绍中提到的另一个算法SVM（支持向量机）。

4.DL盛世：

这里的知识点很多，我概述一下：

Fisher Vector（费雪向量）：用于图像表示（image representation） 或特征编码（feature encoding） ，是Bag of Visual Words（BoVW，视觉词袋）模型 的一种高级改进版本。
2019年3月，ACM 宣布，有“深度学习三巨头”之称的 Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年度的图灵奖，这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。
这里我们了解一下三人的学术贡献，即为何他们三人在这一年同时获得图灵奖：

2019 ACM 颁奖词：

“For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing.”
（“因为他们在线性神经网络方面的概念和工程突破，使深度神经网络成为计算的关键组成部分。”）

简单来说是这样的：他们让神经网络从理论走向现实。

2. 三人的具体学术贡献（分工与重点）

学者	核心贡献	关键技术	关键记忆点
Geoffrey Hinton（杰弗里·辛顿）	深度网络训练方法	DBN、预训练、BP 推广	“深度学习之父”
Yoshua Bengio（约书亚·本吉奥）	序列建模与语言模型	神经语言模型、注意力	序列建模与生成模型
Yann LeCun（杨立昆）	卷积神经网络（CNN）	LeNet、图像识别	“卷积神经网络之父”