18、卷积神经网络与分类回归树的深入解析

卷积神经网络与分类回归树的深入解析

1. 卷积神经网络（CNNs）基础

1.1 CNN架构概述

CNN主要由三种类型的层组成：卷积层、池化层和全连接层。每一层都接收一个3D输入体积（高度、宽度、深度），并通过可微函数将其转换为3D输出。

1.2 卷积层

卷积层的工作方式可以想象成一个特定大小的聚光灯在输入（像素值和RGB颜色维度）上滑动，然后计算过滤值（也称为补丁）与真实输入之间的点积。这有两个重要作用：一是压缩输入，二是网络学习仅在看到输入中特定类型的特征空间位置时才激活的过滤器。

卷积层的步幅（stride）指的是聚光灯的大小，步幅越大，输出越小。当应用3x3过滤器时，在矩阵中心可以处理过滤器的完整范围，但接近或超过边缘时，会丢失输入的边缘信息，此时可应用零填充（zero-padding），即将超出输入维度的所有元素设置为零，目前零填充在大多数CNN应用中已成为默认设置。

1.3 池化层

池化层通常位于过滤层之间，用于沿空间维度（宽度、高度）执行下采样操作，有助于防止过拟合并减少计算负载。最大池化（Max Pooling）是目前最有效的下采样方法，它通过取相邻特征补丁的最大值来压缩特征。

池化层的主要作用包括：
- 减少参数数量，从而降低计算负载。
- 正则化。

不过，最新研究发现，省略池化层可能会提高准确性，但会增加CPU或GPU的负担。

1.4 全连接层

全连接层主要用于计算最终的分类输出（通常使用softmax函数）。在卷积层之间偶尔也会存在全连接层，但相对较少。