85、深度学习中的计算图与卷积网络详解

深度学习中的计算图与卷积网络详解

1. 深度学习基础与计算图构建

深度学习的核心思想是将假设表示为带有可调权重的计算图，并计算损失函数相对于这些权重的梯度，以拟合训练数据。下面我们详细探讨如何构建计算图，主要包括输入层、输出层和隐藏层。

1.1 输入编码

计算图的输入和输出节点直接连接输入数据 $x$ 和输出数据 $y$。输入数据的编码通常较为直接，具体情况如下：
- 布尔属性 ：若属性为布尔型，通常有 $n$ 个输入节点，一般将 false 映射为 0，true 映射为 1，有时也会使用 -1 和 +1。
- 数值属性 ：整数或实值的数值属性通常直接使用，但可能会进行缩放以适应固定范围。若不同示例的数值大小差异巨大，可将其映射到对数尺度。
- 图像数据 ：RGB 图像不能简单视为因子数据。虽然 $X×Y$ 像素的 RGB 图像可看作 $3XY$ 个整数值属性，但这种方式忽略了像素邻接的重要性。在实际应用中，处理图像数据的网络通常具有类似数组的内部结构，以反映邻接关系。
- 分类属性 ：对于具有多个值的分类属性，如餐厅问题中的 Type 属性，通常使用独热编码。具有 $d$ 个可能值的属性由 $d$ 个独立的输入位表示，对于给定的值，相应的输入位设为 1，其他位设为 0。

1.2 输出层和损失函数

输出层将原始数据值编码为图的输出节点的实际值 $y$，这与输入编码问题类似。例如，若网络要预测天气变量，可使用四位的独热编码。