AlexNet和VGGNet重点摘要总结(包含Fancy PCA详解和SGD）

由于之前都是跟着李宏毅sir和Andrew Ng学习ML，DL和CV，缺少了阅读CV界基础的一些论文这一个必需块:)，所以这两天简要的读了一下AlexNet和VGG Net的论文，并对一些重要的创新点做了一些摘要

尤其是AlexNet里data augmentation里的Fancy PCA(也叫 PCA Jittering）更是让我很感兴趣，所以做了比较详细的解释，可能也是我这篇文的卖点？！嘿嘿

同时还复习了一下SGD，参考其他blog写了一些自己的理解

原文：
AlexNet

VGG Net

参考与引用：

1.AlexNet:https://blog.youkuaiyun.com/qq_24695385/article/details/80368618

2.Fancy PCA:https://blog.youkuaiyun.com/b1055077005/article/details/96013305

3.BGD与SGD：https://blog.youkuaiyun.com/kokopop007/article/details/105008643

4.VGG:https://blog.youkuaiyun.com/u013181595/article/details/80974210

AlexNet’s Discoveries and Summaries

1.ReLU Nonlinearity（非线性非饱和函数训练速度极快）

首先解答自己的几个问题！

Q:为什么“ReLU增加了网络的稀疏性”且稀疏性“主要来源于负半轴”。网络稀疏性增加的优势是什么？

首先解释稀疏性，学过数据结构的话应该听过稀疏矩阵，就是矩阵里有很多的0呗~，没错稀疏性指数据有一定的比例为0；

稀疏性增加的优势是避免模型复杂，具有特征选择的功能，有很多0就表示模型对某些特征进行了选择，因为0