神经网络和深度学习课程（网易MOOC） - Week 1 深度学习概论

神经网络和深度学习课程

简介

• 来自吴恩达教授引领的deeplearning.ai的在线课程。
• 该笔记为学习笔记。

Week 1 深度学习概论

ReLU 修正线性单元

• 英文全称：rectified linear unit
• “修正”：
  
  • 取值不小于0

房价预测

• 模型：
  
  • 输入：
    
    • 房间数量
    • 邮政编码
    • 地区的富裕程度
    • 房子大小
  • 输出：
    
    • 房价预测值
• 给到足够的输入和输出数量的训练集，神经网络将会在监督学习下得到较准确的输入到输出的映射关系。

监督学习的几个应用

• 针对性投放的广告
  
  • 对应stable NN
• 图像处理
  
  • 对应CNN（卷积神经网络）
• 音频处理
  
  • 对应RNN（循环神经网络）
• 机器翻译
  
  • 对应复杂的RNN
• 无人驾驶
  
  • 混合的神经网络结构
  • 原因：
    
    • 图像处理应用CNN架构，但是雷达信息则需要应用其他架构。

结构数据与非结构数据

结构数据

• 主要因子法（类似）

非结构数据

• 图像、音频、待翻译的文本
• 特征为像素等

获得较好的训练效果的两种方式

• 输入更多的数据
• 训练更大的神经网络模型

Sigmod函数和ReLU函数的异同

Sigmod函数

• 梯度趋于0
• 使用梯度下降法时，由于梯度接近于0，所以参数变化会很慢

使用ReLU

• 梯度不趋于0
• 可以使梯度下降法运行更快