EEGnet模型论文讲解（画图详解三种卷积层操作）

我录了一个讲解视频：https://www.bilibili.com/video/BV1si4y1s7g7/

目录

一、整体介绍

二、梳理激活函数

三、图解三种卷积层   （核心内容）

四、总结

---

 

一、整体介绍

EEGnet是为专门一般的脑电图识别任务而设计的通用且紧凑的卷积神经网络。（设计思路借鉴了MobileNet）

下图是EEGnet的整体结构图，只有三个卷积模块，重点是depthwise conv 和separable conv这两个卷积模块。

表格表明了EEGnet的结构细节，可以看出下划红线和下划蓝线是EEGnet相对传统卷积神经网络特别的地方。

二、梳理激活函数

由于激活函数比较简单，所以先介绍一下激活函数。

传统激活函数发展 sigmoid -> tanh -> ReLU （目前最常用的激活函数）

ReLU函数的一些相关变种

EEGnet有使用ELU激活函数，其具有如ReLU的正值特性，所以一样可以缓解梯度消失问题，而ELU还有负值，可以让激活单元输出的均值更接近0，从而达到正则化的效果。且ELU的负值计算是指数函数，不会发生突变，所以对输入变化或噪声更鲁棒。（SELU输出的均值不但更接近0，其方差也更接近单位方差1，进一步达到正则化效果，提升收敛速度等）

线性激活Linear就等于只有神经元在进行计算，即y=Σ(X*W)+b

三、图解三种卷积层

1. Convolution—普通的卷积层操作

对于(shape为5×5×3)的输入, 经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4，最终输出4个Feature Map，假设卷积层的步长为1，那么如果padding方式是valid那么输出尺寸变为3×3。

卷积层共4个filter，每个filter有1个bias参数，每个filter包含了3个kernel，每个kernel的大小为3×3。

卷积层的参数数量计算：Parameters = 4 × 3 × 3 × 3 + 4  = 112

2. Depthwise Convolution—逐通道的卷积层操作

对于一张5×5像素、三通道（shape为5×5×3)的输入, Depthwise Convolution是完全在二维平面内进行的卷积运算。卷积核的数量与上一层的通道数相同(通道和卷积核一一对应), 所以输出feature map的通道数目不变。

卷积层共3个filter，每个filter有1个bias参数，每个filter包含了1个kernel，每个kernel的大小为3×3。

卷积层的参数数量计算：Parameters = 3× 1 × 3 × 3 + 3  = 30。

评价：虽然这样显著减少了卷积层的参数数量，但是这种方法无法扩展Feature map，没有有效利用不同通道在相同空间位置上的feature信息。

3. Pointwise Convolution—逐点的卷积层操作

对于一张5×5像素、三通道的输入, Pointwise Convolution的卷积核大小固定为1×1，假设其输出通道为4，那么它的卷积核的shape为 1×1×M×4，M为上一层的通道数。所以这里的卷积运算会将上一步的feature map在深度方向上进行加权组合。

卷积层共4个filter，每个filter有1个bias参数，每个filter包含了3个kernel，每个kernel的大小为1×1。

卷积层的参数数量计算：Parameters = 4× 3 × 1 × 1 + 4  = 16

评价：pointwise convolution可以扩展feature map的数目，还能将上一步生成的feature map在空间维度进行加权组合，正好弥补了Depthwise Convolution的两个缺点。

四、总结

Depthwise Convolution的一个卷积核负责一个通道，即一个通道只被一个卷积核卷积。

Pointwise Convolution的卷积核的shape为 1×1×M×C，M为上一层的通道数，C为卷积核的数目。

EEGnet由1个普通卷积conv + 1个Depthwise conv + 1个separable conv组成，

其中， separable Convolution（深度分离卷积层）由一个Depthwise Convolution和一个Pointwise Convolution组成。

 

参数量对比：

相同放入5×5像素、三通道的输入，普通卷积层和separable Convolution同样得到4个Feature map

普通卷积层的参数量: 4 × 3 × 3 × 3 + 4  = 112

Depthwise conv的参数量 = 3× 1 × 3 × 3 + 3  = 30

Pointwise conv的参数量 = 4× 3 × 1 × 1 + 4  = 16

Separable conv的参数量 = Depthwise conv + Pointwise conv = 46

所以Separable Convolution可以显著减少卷积层的参数数量

 

个体内实验结果：

跨个体实验结果：