一只飞鱼的博客

cs231n每半年更新一次，最近看了新的版本，整理了下之前学习的笔记和作业。.Diffuculty of Recogonition:illumination, deformation, Background Clutter, Intraclass variation,etc..1.Nearest Neighbor Method（现在深度学习框架内很少使用）train：O(1) test:O(n)

深度学习网络有好多名字，其中包括人工神经网络“Artificial Neural Networks” (ANN) 或多层感知机“Multi-Layer Perceptrons” (MLP)。当然谈到感知机有时特指不加激活函数的网络才是感知机。1.反向传播（backpropagation)相当于于链式法则。Patterns in backward flow: - add gate: 梯度与上一个梯度

一些名词：depth/depthcolumn/fibre——K:叠加的卷积核的个数。每个卷积核对一层图像I1进行处理得到I2（activationmap），下一个卷积核在I2基础上进行处理得到I3（activationmap）,…,得到In，n-1就是depth。stride——S：步长，即进行卷积后该filter窗口往右/下移动的步长（像素个数）pad/padding——P：边界宽度（像素个数）。

生物学解释神经网络中的神经元(neurons)：从输入（如图像）得到的一个输出最小单元称之为一个神经元。具体一点说，对于一个双层网络（1输入、1中间层、1输出），如果输入为一个样本，则隐藏层的维数H+最终输出维度数C,就是神经元的个数。一个神经元包括所需要的所有参数；包括一组wij(i=0,,D)w_ij(i=0,,D),b,以及激活函数这几个参数。比如XNXD∗WDXCX_{NXD}*W_{DXC

我们已经知道基本的标量除以矩阵（或向量），矩阵（或向量）除以标量，以及稍微复杂一点的向量除向量[1]^{[1]}，行向量除以向量除以矩阵，矩阵除以向量的方法，那么矩阵除以矩阵呢？例如： XN×DWD×C=fN×CX_{N\times D}W_{D\times C} = f_{N\times C} 对W求导： ∂f∂W=XT⋅fN×C\frac{\partial f}{\partial W}