stanford_CS231n_learning note_Lec_01 Introduction

5 million years ago
- 直到5亿四千万年前的寒武纪之前，地球上的所有动物都没有视觉。眼睛视觉的出现，加快的生物的进化速度，因此导致了寒武纪的生物大爆炸。

16th Century,A,D-Leonardo da Vinci
- 文艺复兴时期，达芬奇等人想利用相机Copy这个病Save这个世界。

Hubei & Wisesel， 1959
- 有关猫的脑电流实验说明：视觉处理的第一步应该是对简单的形状进行处理。

Block World Larry Roberts，1963：CV领域的第一篇开创性博士论文
- 边缘->形状/结构

July 7, 1966 MIT Lab成立：CV诞生（1966）
- 2016-1966刚好五十周年

Stages of Visual Representation, by David Marr
- 根据2D图像重构3D模型

Generalized Cylinder ,by Brooks & Binford，1979
- 世界万物由基本形状组成

Pictorial StructureFichler and Elschlager, 1973
- 人脸弹性模型（多样性）

David Lowe, 1987
- 剃须刀代表的the whole world由黑白图片的轮廓表示

Nomalized Cut, Shi&Mailk,1997
- 由过渡到彩色图，第一次图像分割的实现，感知分组至今仍在研究，不要听新闻吹牛,安分的做科研dog

Face Detection, Viola & Jones, 2001
- Feifei, Li在CALTech读研究生时， 导师推荐的amazing论文
- CV 研究焦点的一次变迁：重构3D->物体识别（Back to AI Research）
- 富士相机2006年数码相机产品：即便是处理速度慢的CPU也可以做实时人脸识别

PASCAL Visual Object Challenge (20 object categories)
- Real world is more than 20 objects

PASCAL->ImageNet
- 22k categories and 14M images
- Amazon Mechanic Turk 众包完成

The Image Classification Challenge
- 2010-2014 Error Rate 错误率

2010	2011	2012	2013	2014
0.28	0.26	0.16	0.12	0.07

- 2012出现了显著的拐点，首次利用CNN进行图像分类
- 然而CNN并非本世纪提出，而是由上世纪70-80年代提出并完善

CS231n overview
- 视觉识别包括但不限于：图像分类、3D建模、感知分组、图像分割
- 图像分类是本课程主要关注的问题

After taking this class, you can tell the difference among:
- Object detection
- Action classification
- Image captioning

CNN只是深度学习的一种框架，还有其他很多种

ImageNet 2012首次采用7层CNN结构，之前都是：特征+SVM
- ImageNet 微软使用了151层CNN结构

CNN is not invented overnight
- 很多科学家对CNN作出了贡献
- 日本科学家：Kunihiko Fuhushima(邦彦福岛)提出Neocognition Model,奠定了神经网络架构的开端

1998-2012 CNN
- Lecun et al. 的导师和数学家们搞清楚了：反向传播和学习策略
- Lecun 利用NN在AT&T（现在已经没有了）实现了银行手写体的识别