卷积神经网络（一）- Foundations of Convolutional Neuron Networks

从本篇开始将是 deeplearning.ai的第四门课程，卷积神经网络

对于机器视觉任务来说，普通的神经网络将不再适用，最主要的原因来自于数据量太大，前面课程的练习中，面对图像分类任务，我们使用普通神经网络就可以完成是因为图片像素低，而现实的任务，高像素的图片随处可见，1000x1000的RGB图像，光输入就达到3M的数量级，如果进行全连接，第一层的权重将非常巨大，极易造成overfitting等诸多问题，于是我们引入卷积操作。

Edge Detection Example

在之前的课程中，我们提到过，在机器视觉任务中，浅层网络提取出的是edge特征，然后结合edges我们在网络中层合成部分人脸，最后呢合成特征脸。那么所谓边缘检测到底是如何实现的呢，接下来就通过例子来说明，并引入卷积操作。
下图左边为一个6x6的矩阵，可以想象为一张图片或者是图片的一部分，那么中间的3x3是我们的卷积核，也可以理解为是一个滤波器（filter），中间的*符号代表的就是卷积操作，那么卷积操作实际上就是卷积核在图像上依次滑动，然后与对应部分对应相乘再相加的结果。最终呢，3x3在6x6的图像上依次滑动会生成一个4x4的矩阵。（这里需要提一句，学过卷积的同学呢，知道其实这并不是卷积，这其实是互相关操作，卷积其实是要将核进行顺时针180°翻转，然后再对应相乘相加，不过由于图像中，核一般都是对称的，所以在机器学习中，按照惯例呢，不去纠结是否需要翻转，通常把互相关也叫做卷积，而且实际很多机器学习库函数也是没有进行翻转的）

那么它是怎么起到边缘检测作用的呢，看下图就明白了，我们将数值矩阵对应的图像放在矩阵下面，我们执行上面说到的卷积操作，使用相同的卷积核对左边的图像进行卷积，得到右边的图像，我们发现它其实找到了左边图像的竖向边缘。那么这一结果的生成其本质是我们运用了这样一个3x3的卷积核（左边的像素亮，右边的像素暗），是使用它我们才找到了这个左图中的竖向的边缘。
这里细心的朋友发现，这个生成的edge好像略微有点宽，这个会有影响吗，其实这个主要是因为这个图像太小，对于现实任务中的大图像1000x1000，那么这个检测出的edge将会非常好。

More Edge Detection

刚刚我们讲述了如何完成竖向边缘检测，那么本节呢，第一我们讲述positive edge和negative edge的区别（也就是图像明到暗和暗到明带来的edge的变化），第二讲述一些别的边缘检测器以及如何使用算法自动学习生成edge detector而不是我们去人为制定。
那么同样进行竖向边缘检测，使用同样的卷积核，我们将图像翻转，生成的特征图也会发生数值翻转，30变为-30（明变暗），那么对