DATAWHALE-李宏毅机器学习-6

CNN (Convolutional Neutral Network)

每一个nerual相当于一个最简单的分类器。
利用CNN做图像识别 ：

• 许多很小的pattern 要远小于整张图片，不需要看整张图片来确定某个pattern。(convolution来处理)
• 同样的pattern出现在不同图片的不同位置。(convolution来处理)
• 图片十个亿做subsampling（比如说把一张图片奇数行、偶数列的像素拿到不影响认识图片）【max pooling 来处理】
  image $\to$ convolution $\to$ max pooling $\to$ max pooling （反复几次是自己设计的）$\to$ flatten $\to$ fully connected feedforward network
  filter 就相当于是fully connected feed forward network中的neural，filter 是一个matrix，里面的数值(parameters)是需要学习去确定的。经过convolution的图片的矩阵会变小（更少的参数），并且经过filter变成了立方矩阵。【shared weights】
  colorful image 中每张图片是一个立方体的形式来表示，当然filter的matrix也是立方的。“立方的矩阵怎么相乘”
  max pooling 选每次尽心完filter后再分块后的最大的
  66 - 22 深度依靠于filter 决定
  What does CNN learn？
  $x^{\ast }=arg\underset{x}{\max }{a}^k$
  $a^k={\sum }_{i=1}^{11}{\sum }_{j=1}^{11}{a}_{ij}^k$
  想知道第k个filter的作用，要找一张image，这张image它可以让第k个filter被active的程度最大。 [gradient ascent] 会找出来每一个filter实际上是找到了某种纹路在不断重复的图
  那么现在使得已知输出最大可能性的数字，想要反向去找一张imagine，就 $x^{\ast }=arg\underset{x}{\max }{y}^i$
  想要让图像变得更像数字 $x^{\ast }=arg\underset{x}{\max }(y^i-{\sum }_{i,j}|x_{i,j}|)$

Deep Dream

调整CN中的filter，夸张机器所看到的东西

Deep Style

把一张图给CNN，这个CNN 的filter 的输出值其是蕴藏了这个图的内容，然后另一张图也丢到CNN中，同样地，也得到了filter的output，这filter之间存在convolution.现在想要用同一个CNN 找一个既像第一张又像第二张的图那么可能得到一个兼具二者特性的图片。

CNN的其他应用

具备一开头说的三个特性
alpha Go 令人迷惑的是subsample的地方
语言处理上使用CNN是有许多不同的地方