《深度学习》(美)Ian Goodfellow 花书简要笔记（第一部分：应用数学与机器学习基础）

说明:本篇Blog为自己刷《深度学习》时的简要笔记，仅记录对自己有启发或不熟悉的知识点，并非全面笔记。不过，对于任何一个学深度学习的人来说，这本书真的算是很好的一本入门书籍，公式推导都特别细致，很难得，必刷指数五颗星~

第一章 引言

1、人工智能的真正挑战在于解决那些对于人来说很容易执行、但很难形式化描述的任务；人工智能的一个关键性挑战在于如何将这些非形式化的知识传达给计算机。
2、对于很多任务来说，我们很难知道应该提取哪些特征。解决这个方法的途径之一是表示学习。
3、配套资源网站：http://www.deeplearningbook.org/lecture_slides.html

第二章 线性代数

#本部分主要为矩阵论的内容，没有修过矩阵论的童鞋可以找找相关的网络课程或者参考书籍（我们当时学的时候用的是程云鹏老师的《矩阵论》，感觉内容编排有点杂乱，但是习题非常不错）。
1、张量：坐标超过两维的数组。
2、广播：在DL中，我们允许矩阵和向量相加而产生另一个矩阵：C=A+b。（向量b和矩阵A的每一行相加）。这种隐式地复制向量b到很多位置的方式，称为广播。
3、Hadamard乘积（元素对应乘积）
4、范数是满足下列性质的任意函数：
（1）f(x) = 0,推出 x = 0;
（2）满足三角不等式；
（3）存在a属于R，f(ax) = |a|f(x).
5、Frobenius范数：衡量矩阵的大小。（F范数）

6、迹运算
7、行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或缩小了多少。如果行列式是0，那么空间至少沿着某一个维度完全收缩了，使其失去了所有的体积；如果行列式是1，那么这个转换保持空间体积不变。

第三章 概率论与信息论

- 概率论部分
#本章概率论部分大部分为本科概率论课本上的知识，除此之外，还有狄利克雷分布、高斯混合模型和常用的两个函数sigmoid、softplus，这四个知识点可以单独补充。

1、概率法告诉我们AI系统如何推理，可以用概率和统计从理论上分析我们提出的AI系统的行为；
2、概率论使我们能够提出不确定的声明以及在不确定性存在的情况下进行推理；而信息论使我们能够量化