吴恩达深度学习

吴恩达深度学习

---

绪论

---

人工智能的巨大潜力

人工智能近几年发展迅速,应用广泛,堪称新时代的电力。深度学习是其中广受欢迎的一种技巧

课程学习内容

• 神经网络基础

  1. 构建神经网络

  2. 训练神经网络

  3. 应用神经网络

     应用深度神经网络识别猫的图片

• 深度学习方面的实践

  1. 超参数调整

  2. 正则化

  3. 诊断偏差和方差

  4. 高级优化算法

     例如Momentum和Adam算法

• 结构化机器学习工程

• 卷积神经网络

• 序列模型

  1. 循环神经网络

     CNN经常应用于图像领域,自然语言(比如一个单词序列)处理等

  2. 长短期记忆网络

     ---

神经网络简介

---

• 神经网络的基本组成结构

  以房价面积进行房价预测为例。首先,得到数据点后通过直线进行拟合。然后,由于y值不能为0,使等于0或负值的地方接近于0。从而形成如图的函数形式。

  该函数被称为ReLu函数(即线性修正单元),即开始为0,后线性增加的形式。"修正"意为取不小于0的值。

  该模型可表示为

  房子大小size作为输入量x,拟合函数作为中间节点进行处理,房子金额price作为输出量y。可视为一个最简单的神经网络模型。

  除房子大小外,还有其他影响房价的因素,如卧室数量,邮政编码,财富情况等,这些因素分别通过影响家庭大小,步行化程度,周边设施等影响房价高低。将这些影响构建为最小神经元后,将每个神经元堆叠在一起,可形成一个更复杂的神经网络。

  将这个神经网络更一般化得到如下模型图:

  神经网络只需要输入样本的特征(x)和标签(y),中间的🔘为隐藏单元,对应、连接过程会在训练过程中自发形成。神经网络本质上是x到y的一种映射关系。

• 神经网络的应用

  神经网络的应用大致有以下6种:

  1. 房价评估

  2. 广告推送

  3. 图像处理

  4. 音频识别

  5. 机器翻译

  6. 自动驾驶

     对于1、2两种主要是标准神经网络(SNN)的应用;对于3图像处理则为卷积神经网络(CNN)的应用;对于4音频识别和5机器翻译等序列模型相关主要应用循环神经网络(RNN);对于6自动驾驶则要应用混合的神经网络模型。

     SNN、CNN、RNN的模型图形表示如下:

     

• 结构化数据与非结构化数据介绍:

  结构化数据是数据的数据库,即每个数据特征都有清晰定义;非结构化数据是音频、图像等数据,计算机难以识别而人类易于识别。通过深度学习和神经网络,计算机能更好地解释非结构化数据。

• 流行的原因

  1. 数据量的增加

     近几年数据爆炸式增长,不同机器学习算法在不同规模数据集上的表现如下图所示:

     从图中可以发现,当数据集规模不够大时,传统机器学习算法和不同规模神经网络表现相差不大;当数据规模足够大时,传统机器学习算法无法发挥巨大规模数据库的优势,而增大神经网络的规模可以。

  2. CPU和GPU的发展

  3. 算法方面的创新

     算法方面的极大创新提高了神经网络的训练效率。比如神经网络中的sigmoid函数转换到ReLU函数,因为sigmoid函数两端斜率很小,学习率也很小;而ReLU函数对于所有正值的输入斜率输出都是1,梯度不会趋向于0,从而使梯度下降法,下降得更快。

aming\Typora\typora-user-images\image-20240630210341485.png" alt=“image-20240630210341485” style=“zoom: 67%;” />