6、大语言模型的向量索引、成本评估与调优技术

大语言模型的向量索引、成本评估与调优技术

1. 向量数据库索引方法

向量数据库的索引方法有多种，各有优劣，需要根据具体的使用场景来选择最优的索引方式。

1.1 图遍历算法索引

• 特点：通过图遍历算法提供快速且高度准确的搜索，但每个向量有 4 到 64 个链接，会使用更多的 RAM。

1.2 带乘积量化的倒排文件索引

• 操作步骤：
  1. 通过 OPQ 降维和 PQ 量化将向量压缩为代码，使用更少的内存。
  2. 有两个调优参数：重排序 k 和 nprobe，用于在精度和速度之间进行权衡。
• 优化策略：当数据集规模增大时，可先通过 k - means 或 HNSW 图分区将向量聚类到 IVF 桶中，以优化存储和查找时间，每次搜索扫描 nprobe 个桶。训练集大小和聚类数量会随数据量增加而增加，多级聚类可进一步改善超过 1 亿个向量的索引。
• GPU 支持情况：flat、OPQ 和 IVFK 可在 GPU 上工作，而 HNSW 目前仅支持 CPU。

索引方法	优点	缺点	GPU 支持
图遍历算法索引	快速且准确	使用更多 RAM	部分支