吴恩达-DeepLearning.ai-01 神经网络和深度学习

01 神经网络和深度学习总结

第一周深度学习概论

1、各种类型的神经网络模型适合什么学习任务？

可以看到：从基本的神经网络、CNN，RNN到处理复杂任务的混合神经网络都有自己擅长的领域。

2、结构化数据和非结构化数据有什么区别？

不同的算法也同时适合不同的数据类型，深度学习模型在非结构化数据上的表现要更好。

3、为什么深度学习的会崛起？

一个原因是数据的剧增，传统机器学习模型在数据量不是很多时和深度学习模型效果差不多甚至更好（深度学习模型往往需要大量数据来学习），但是随着数据量的增大深度学习模型的效果会持续增长一段时间，但是传统机器学习模型则会到达一个高点。（前期数据量少模型出现过拟合，效果都差不多，随着数据量的增大给模型的泛化能力带来了挑战，出现了深度学习和传统浅层机器学习模型性能上的差异）

深度学习崛起的三个因素：

1、数据的增多，和数据来性的复杂多样（特征提起带来挑战）

2、计算机性能的提高

3、算法性能的改进和提高（从深层模型参数难以优化，到从参数预训练，激化函数，模型创新等方面的改进）

第二周 神经网络基础

1、逻辑回归引入（Logistic Regression）

向量量化操作的重要性：数据量很大矩阵操作可以节省大量的时间，

第三周 浅层神经网络

1、单隐层神经网络（基础）

2、激活函数

基本上大家都会选择Relu，性能上基本是sig<tanh<relu，sig一般是在顶层做二分类时使用。

激活函数的作用就像是SVM中的核函数，把模型从线性变成了非线性，否则再深层的神经网络也不过是复杂的线性运算罢了。

3、激活函数的导数

神经网络出处存在着导数的计算，就像那些深度学习框架一样直接支持求导计算。

4、神经网络中的梯度下降和反向传播

第四周 深层神经网络

1、引入深度学习

就简单的深度模型来说只是在层数上增加了，推导没有变化。

最后是业界大牛的连线交流，很激励人。