15、深度学习中KNN与概率学习算法的深度版本探索

深度学习中KNN与概率学习算法的深度版本探索

1. 卷积KNN算法

卷积KNN算法是一种深度学习算法。之前的KNN算法深度学习实现是将监督版本和无监督版本相互结合，而在卷积KNN算法中，无监督KNN算法被卷积层所取代。通过卷积层，从输入向量计算出隐藏向量。

• 架构 ：输入的d维数值向量通过卷积层映射为d’维的隐藏向量，然后KNN算法将映射后的隐藏向量分类到M个类别中的某一个。在计算隐藏向量的过程中，多个无监督KNN算法被卷积层替代，卷积层中涉及任意设置的滤波器向量。

• 训练示例映射 ：

  1. 准备N个训练示例，每个示例为d维向量。
  2. 定义c个滤波器向量，每个为f维数值向量，c为通道数。
  3. 用c个滤波器向量进行卷积操作，得到N×c个d - f + 1维的数值向量。
  4. 每个训练示例映射得到的c个数值向量可看作(d - f + 1)×c矩阵。

• 新数据项分类过程 ：

  1. 新输入向量和训练示例通过卷积层进行映射。
  2. 计算映射后的新向量与映射后的训练向量的相似度，选择最相似的作为最近邻。
  3. 通过对最近邻的标签进行投票来确定新输入向量的标签。

如果在卷积层中使用多个滤波器向量，计算相似度会花费更多时间。在这个深度版本中，隐藏向量在卷积层从输