李宏毅机器学习三天速成~~~第七课~~~Brief Introduction of Deep Learning

1.Deep learning的历史

2.深度学习的步骤

首先对于第一步Neural Network进行介绍：

相同于上一课Logistic Regression中的多层Logistic Regression进行连接：

下图中的为sigmoid函数

其中关于一些概念如下：

将图中运用到的计算使用矩阵的形式进行操作：

运用矩阵操作的目的是当设计运算时可以利用GPU进行矩阵运算，这比CPU运行快了许多。

3.Example Application

下面利用一个图像识别的案例进行介绍。

参考下图，要求辨识一个像素为16*16的图片，输入的数据为一个256维的数量

output则为一个10维的矢量，即成为每个数字的几率，哪个几率最高，最终辨识结果则为哪个数字。

关于deep learning最重要的是寻找network structure

neurons network关键的是不需要筛选feature，但需要需按照一个适合的network structure

那么需要多少层神经网络呢？这是需要不断的训练和直觉。

4.Compute Loss

利用cross entropy作为Loss function，cross entropy越小越好

在function set中赵一个function使得Loss最小，或者找到network para使得Loss最小

接下来利用Gradient Descent计算样本数据下的最适宜参数

利用Gradient descent一步步找到最适合的参数

以前做deep learning很痛苦，现在就比较轻松了，因为现在有许多tool kit计算微分，下面时关于计算微分的一些tool kit

最后有一些问题，为什么神经网络越深越好：

个人理解内容将于后续补充