CS231n lesson2. Linear classification I 学习笔记

声明：此系列的博文只是个人学习笔记，很可能会有不准确的地方，仅供参考。本人有一定的机器学习基础，之前略微接触过一些神经网络的东西，而且课件里面的内容很详尽，因此笔记不会覆盖课程的全部内容。
课程主页：http://cs231n.stanford.edu/

---

Linear classifier

$$f(x,W)=Wx$$

• weight向量可看做是gradient，与gradient夹角小于90度的x归为正类，夹角大于90度的x归为负类，在training的时候，weight向量逐渐调整方向和位置，从而逐渐把weight向量对应的那一类孤立起来

• weight的大小可以表示对应的pixel灰度值对于当前类别的重要程度

• 单一的linear classifier能力很有限，比如将一个air plane的图片进行reverse处理，那么这张新图片在linear classifier看来是另一样东西（因为灰度值完全相反了），但我们人眼却可以根据形状辨别出来这还是一个air plane。

• linear classifier也很难区分开不同的纹理图，比如都是蓝色背景的纹理图，纹理是有所不同的，但在linear classifier看来这些蓝色的图其实都差不多

• 对weight向量进行reshape并可视化，可以发现它其实是一个template，揉合了这一类的图片的特征，比如有的template可视化的结果是有各个方向的车或者两个头的马，这样其实有些怪异，并且因为揉合在一起，特征的表达能力有限。而神经网络可以看作是stack了多个linear classifier，比如每个linear classifier都能分别记住不同状态（颜色、外形、朝向等等）的车，因此神经网络能很准确地判断出是车，不管车是处于哪种状态