解析卷积神经网络（部分笔记）（未完成）

先验知识：
快速傅立叶变换
第二章：
概念：
loss function = data loss + regulation loss
三维张量：$x^l \in R^{H^l*W^l*D^l}$,用三元组$(i^l,j^l,d^l)$表示该张量对应第$i^l$行，第$j^l$列，第$d^l$channel的位置
四维张量：$x^l \in R^{H^l*W^l*D^l*N}$,N表示mini-batch每一批样本的个数

卷积(convolution)：卷积操作可获取图像区域不同类型特征。
汇合(pooling)：汇合等操作可对这些特质进行融合和抽象。
卷积核(convolution keras),激活函数(activation function)，感受野(receptive filed)
多层卷积汇合等操作的堆叠，各层得到的深层特征逐渐从泛化特征（边缘纹理）过度到高层语义表示。

第三章：
感受野：神经元只接受其所支配的刺激区域内的信号
小卷积核的优势：
[1]小卷积核需多层叠加，加深了网络深度进而加强了网络容量核复杂度
[2]增强网络容量的同时减少了参数个数

分布式表示：每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表达中去。
解释：一张图片中的某个目标物体可以由很多卷积核(神经元)激活后的特征图表示；而每个神经元又可以给多张图片不同的目标做卷积。

第四章：
模型压缩：均旨在将一个庞大而复杂的预训练模型 (pre-trained model)转化为一个精简的小模型。
前端压缩：是指不改变原网络结构的压缩 技术，主要包括知识蒸馏、紧凑的模型结构设计以及滤波器层面的剪枝等;
后端压缩：则包括低秩近似、未加限制的剪枝、参数量化以及二值网络等，其目标在于尽可能地减少模型大小，因而会对原始网络结构造成极大程度的改造。

4.1低秩近似
方法：结构化矩阵来进行低秩分解，矩阵分解来降低权重矩阵的参数

4.2剪枝与稀疏约束
剪枝算法的操作流程：

• 衡量神经元（权重连接，滤波器）的重要程度（*）
• 移除掉一部分不重要的神经元
• 对网络进行微调

4.3参数量化