14、深度 KNN 算法：基础与高级版本解析

深度 KNN 算法：基础与高级版本解析

1. 基于核函数的 KNN 算法

基于核函数的 KNN 算法采用核函数作为新手输入向量与训练示例之间的相似度度量。在对数据项进行分类时，此版本的过程与初始 KNN 算法基本相同，唯一区别在于使用核函数计算新手向量与训练示例的相似度。

核函数是向量在另一个空间中映射向量的内积。在这个版本的 KNN 算法中，它用于计算新手输入与训练示例的相似度。在对新手项进行分类的过程中，根据核函数从训练示例中选择最近邻。由于输入向量被隐式映射到另一个空间中的隐藏向量，因此这个版本的 KNN 算法可被视为深度学习算法。

2. 输出解码的 KNN 算法

输出解码的 KNN 算法是 KNN 的另一种深度版本，它通过附加输出解码对 KNN 算法进行修改，这在深度学习中可看作是从隐藏向量计算输出向量的过程。以下是几种不同应用场景：
- 类别细化 ：
- 一般有两个类别（类别 1 和类别 2），每个抽象类别又有两个具体类别。
- 左侧的 KNN 算法将输入向量分类为类别 1 或类别 2。
- 右上的 KNN 算法接收被分类为类别 1 的输入向量，并将其进一步分类为类别 1 - 1 或类别 1 - 2。
- 右下的 KNN 算法接收被分类为类别 2 的输入向量，并将其进一步分类为类别 2 - 1 或类别 2 - 2。
- 这种深度学习方式可实现 KNN 算法的层次分类。
- 类别抽象 ：
- 假设四个具体类别的每个类别的值是连续的类别得分。
- 估计具体类别得分的过程可看作是从输入向量