李宏毅2022ML第三周课程笔记

目录

李宏毅2022ML第三周课程笔记（三）-- CNN

为什么使用CNN？

卷积

Convolution和fully connected layer的关系。

池化

Flatten

---

李宏毅2022ML第三周课程笔记（三）-- CNN

为什么使用CNN？

        一张图片是一个三维的tensor，如果使用全连接神经网络架构，由于其参数过多，模型的弹性很大，很容易overfitting，所以可能不需要一个fully-connected。

         同时，我们需要观察的对象往往不需要观察整个图，也有可能一张图内有多个我们需要观察的对象，这时我们可以使用相同的neural和同样的参数可以把同一模块侦测出来。

         接下来介绍CNN的架构：首先input一张image以后，这张image会通过convolution layer，接下来做max pooling这件事，然后再做convolution，再做max pooling这件事。这个process可以反复无数次，反复的次数你觉得够多之后，(但是反复多少次你是要事先决定的，它就是network的架构(就像你的neural有几层一样)，你要做几层的convolution，做几层的Max Pooling，你在定neural架构的时候，你要事先决定好)。你做完决定要做的convolution和Max Pooling以后进行flatten，再把flatten的output放入一般的fully connected feedforward network，然后得到影像辨识的结果。

卷积

        Convolution（卷积）：类似滤波器，选择一个小的n*n的矩阵和从原输入数据矩阵抽取的同样大小矩阵相乘得到一个值作为输出矩阵的一个元素，按照规定的步进值进行移动获取数据小矩阵，直到遍历完整个数据矩阵大小。

The same pattern will appear the different regions

1.receptive field

2.we allow the neuron share their parameters

Convolution和fully connected layer的关系。

        convolution就是fully connected layer把一些weight拿掉了。

池化

Pooling==Subsampling the pixels will not change the object 池化 可以进行采样

        Pooling 的目的是减少计算量，但可能会造成图片信息的丢失，在计算资源足够的前提下，可以全convolution

Max pooling：

         对于整个输出矩阵，使用一个小矩阵框进行遍历，每次输出矩阵框内的最大值（相当于使用这个数来代表这片范围内的信息）。

Flatten

        是将 feature map的矩阵拉直成为一维向量，方便后续进入fully connected feedforward network进行处理