21、最近邻搜索新方法的实证研究

最近邻搜索新方法的实证研究

1. Os - 树分割规则

在最近邻搜索中，Os - 树的构建涉及到分割超平面和边界超平面的选择。为了保证树的平衡性，要求分割超平面两侧的点大致各占一半。

• 分割超平面的选择
  • 主成分分析（PCA） ：使用PCA方法来确定超平面的方向。具体操作步骤如下：
    1. 计算数据点$S_δ$的协方差矩阵。
    2. 根据数据点在最大特征值对应的特征向量上的投影对数据点进行排序。
    3. 将排序后的序列的前半部分点放入$S_{δl}$，后半部分放入$S_{δr}$。
  • 支持向量机（SVM） ：当$l$标记点投影的最大值低于$r$标记点投影的最小值时，存在无数个超平面可作为分离超平面。为了最小化最终重叠区域的训练点数，使用SVM方法选择分离超平面。SVM方法将寻找分离超平面的问题转化为一个非线性优化问题，求解该问题会得到一组支持向量和其他系数，利用这些值来确定分离超平面$H_δ$。然后，使用与节点关联的训练点来确定边界超平面$H_{δl}$和$H_{δr}$的最终位置。

2. 实现

为了实现Os - 树，对ANN库进行了修改。该库原本用于使用kd - 树和bbd - 树进行近似最近邻搜索。

• 使用的工具
  • PCA程