个人学习

Lec3 linear classification notes线性分类器1. 评分函数（score function） 它是原始图像数据到类别分值的映射。这个函数将图像的像素值映射为各个分类类别的得分，得分高低代表图像属于该类别的可能性高低。2. 损失函数（loss function） 它是用来量化预测分类标签的得分与真实标签之间一致性的。我们将使用损失函数（L...

Lec5 Backpropagation and Neural Networks反向传播与神经网络1. 反向传播Backpropagation解析梯度与数值梯度用计算图表示函数，注意节点。有时候表达式过于复杂以致于不想用微积分计算出表达式型的梯度，将复杂的表达式分解成一些节点计算，这样就可以使用一些很简单的值计算出梯度。反向传播 使用链式法则，将上游梯度和本地梯度相乘，计算...

Lec6 Convolutional Neural Networks卷积神经网络1.Layers卷积层conv layer 卷积的局部关注性，不关注输入图片的全部，而是局部。 感受野/卷积核/filter，让同一个卷积核划过图片（遍历），在每一个位置和数据点进行点积运算，得到一张特征映射图（maps）。卷积核的数量就是深度。 卷积层可以保留原始数据的空间结构，不会像全连接那样需...

Lec4 Optimization优化1. 梯度下降算法Gradient Decent 梯度是指向函数的最大 增长 方向，而我们的目标是沿着损失函数最小的方向调整参数www，所以梯度为正时要沿梯度的反方向调整一小步，然后不断重复进行参数更新。 这里的step_size即为学习率，是一个超参数。 实践考量：注意在数学公式中，h的取值是趋近于0的，然而在实际中，用一个...

Lec7 训练神经网络（上）1. Activation Functions激活函数sigmod function 最原始的激活函数之一，不太建议使用。 饱和时候梯度消失。输入值很大的时候梯度为o。（*） sigmod存在的问题：（**）tanh function ReLU function relu的计算更接近于生物神经元放电特性，计算更简单，收敛速度更快。 ...

Lec8 训练神经网络（下）主要内容：更好的优化，优化方法介绍 1. Fancier Optimizationproblems with SGD 陷入局部最小（local minima）和鞍点（saddle points）。 随机性，容易受噪声影响SGD + Momentum（动量） 保持一个不随时间变化（？）的速度，把梯度估计添加到速度上，在速度方向上前 进而不是在梯...

Lec10 CNN架构介绍1. AlexNet 卷积层才有参数，池化层没有参数！ 为什么分层两列前进，因为当时训练所使用的GPU较小，容量有限。在第三层开始GPUs之间开始通信。 ZFNet 对Alex超参数的一些优化。2.VGG from Oxford非常深的网络，并保持非常小的卷积核（3x3）。更小的卷积核可以让它有更深的网络结构。正向传播过程中造成参数太多...

Lec9 工具介绍1. CPU vs GPUNVIDIA dominant 深度学习中大量的矩阵乘法，可以拆分成元素与元素之间的乘法，从而很好的配合GPU的并行运算能力。 GPU编程 OpenCL可以跑在GPU（both Nvidia and AMD）、CPU上，但CUDA（only Nvidia）的优化（cuDNN）好于OpenCL。CPU与GUP的通信 两者之间的...