
数据结构与算法
农夫山泉2号
关于交流可以发邮件:778961303@qq.com
展开
-
【Faiss】源码阅读(四)——IVFPQ更低的内存占用
1. 理解PQ乘积量化请参考:https://zhuanlan.zhihu.com/p/114029796https://www.cnblogs.com/mafuqiang/p/7161592.html2. 整体思路这种索引方式比前两种复杂多了。现在还是不够清晰。下面对主要思路做下记录训练训练第一阶段的kmean随机下采样 100×256个样本训练kmean训练PQ量化随机下采样256×256(256个类别,每个类最多有256个样本)个样本计算下采样样本和kme原创 2020-08-12 17:39:49 · 1241 阅读 · 0 评论 -
【Faiss】入门(0)——ubuntu cpu版源码安装/vscode调试
python版安装请参考:https://blog.youkuaiyun.com/u011622208/article/details/1077692391. 安装0. clone源码git clone https://gitee.com/mirrors/faiss.git1. 编译./configure --without-cudamakemake install原创 2020-08-12 16:32:09 · 630 阅读 · 0 评论 -
【Faiss】源码阅读(三)——IVFFlat(倒序索引)
摘要: 这里主要讲整个实现过程与核心思路。1. 核心思路前面讲的IndexFlatL2的索引方式,主要就是一种暴力搜索的方式,只是在计算的过程中针对不同的平台进行了指令集优化。这里的IndexIVFFlat索引主要对原始m个样本随机下采样 n×256 个样本,n:表示聚类中心点个数对下采样的样本,采用kmean进行聚类对原始m个底库样本,根据聚类中心进行分桶对要查询的query,针对聚类中心进行分桶,然后采用暴力搜索的方式。2. 实现细节对底库数据做 n×265的随机下采样,用kme原创 2020-08-11 15:51:03 · 5533 阅读 · 2 评论 -
【Faiss】入门(二)——倒序索引
转载自:https://www.zhihu.com/question/23202010/answer/23901671创建倒排索引,分为以下几步:1)创建文档列表:l lucene首先对原始文档数据进行编号(DocID),形成列表,就是一个文档列表2)创建倒排索引列表l 然后对文档中数据进行分词,得到词条。对词条进行编号,以词条创建索引。然后记录下包含该词条的所有文档编号(及其它信息)。谷歌之父–> 谷歌、之父倒排索引创建索引的流程:1) 首先把所有的原始数据进行编号,形成文档列表2)转载 2020-08-11 14:58:42 · 1341 阅读 · 0 评论