shulu的专栏

本文使用二进制文件进行milvus集群的部署，非docker，非k8s部署。

为了方便观察，dim维度设置为3。注意:ef >= limit数量。

批量向量搜索允许在单个请求中进行多个向量相似性搜索。这种类型的搜索非常适合需要为一组查询向量查找相似向量的场景，可显著减少所需的时间和计算资源。系统会并行处理这些向量，为每个查询向量返回一个单独的结果集，每个结果集包含在collection中找到的最接近的匹配项。即:一次查询多个向量，吞吐。

*kwargs - 告诉python接受任意数量的关键字参数到这个字典中。那milvus这里有哪些key?看注释。

假如现在需要向milvus写入500W数据，调用milvus的insert api一次性写入500W数据是不现实的，内存也吃不消。这时候需要分批写入，例如每次写入1000行，直至写完500W数据。

迭代器是一种功能强大的工具，可帮助您使用主键值和布尔表达式迭代集合中的大量数据或所有数据。这可以显著改善您检索数据的方式。当表数据很大，需要全量导出，我们可以使用迭代器，例如每次只查询1000行数据，直到所有数据查询完成，同时也可以减少服务器压力。参数用法不同，后者可能会随着时间的推移而变得效率低下，而迭代器提供了更具可扩展性的解决方案。下面列举一个例子：写入3000条数据，每次读取100条，直至完全读完完毕。需要注意的是迭代器是一个客户端实现。

milvusmetagui是一款用来对milvus的元数据进行解析的工具，milvus的元数据存储在etcd上，而且经过了序列化，通过etcd-manager这样的工具来查看是一堆二进制乱码，因此开发了这个工具对value进行反序列化解析。

VectorDBBench是一款向量数据库基准测试工具，支持milvus、Zilliz Cloud、Elastic Search、Qdrant Cloud、Weaviate Cloud 、 PgVector、PgVectorRS等，可以测试其QPS、时延、recall。VectorDBBench是一款使用python编写的工具，使用了streamlit框架。Streamlit是一个用于机器学习、数据可视化的 Python 框架,它能几行代码就构建出一个精美的在线 app 应用。

milvus没有用户和密码框，这个用来测试线上的milvus是相当的麻烦。在这里就不介绍VectorDBBench是干什么的了，上官网即可。这个项目已经打包成docker，启动docker即可使用。3.连接milvus无用户和密码框，这个是最大的问题。由于很多网友发私信问一些milvus的相关技术问题，2.测试时长30秒太长。4.修改了一下其它参数。1.并发数设置的太少。

VectorDBBench是一款向量数据库基准测试工具，支持milvus、Zilliz Cloud、Elastic Search、Qdrant Cloud、Weaviate Cloud 、 PgVector、PgVectorRS等，可以测试其QPS、时延、recall。VectorDBBench是一款使用python编写的工具，使用了streamlit框架。Streamlit是一个用于机器学习、数据可视化的 Python 框架,它能几行代码就构建出一个精美的在线 app 应用。

数据以key-value形式存在。

HybridSearch会转换为多个Search搜索。

官方的attu是查看和操作milvus的图形化工具，它的使用需要部署docker，在一些场景使用并不是那么方便，这时候可以考虑使用milvuslist。milvuslist是一款用来查看milvus信息的命令行工具，包括库、集合、字段、状态、字段等信息。milvuslist支持windows、linux。直接执行可执行文件milvuslist即可。

indexnode是一个接口，实现indexnode api功能。components.NewIndexNode是一个函数。NewIndexNode()用来创建IndexNode结构体。grpcindexnode.NewServer()产生的是本结构体Server。indexnode.NewIndexNode()返回一个结构体,是 types.IndexNodeComponent接口的一个实现。

可以看到Run()返回的是nil。函数没有做任何事情。indexcoord已经和datacoord合并。

从 Milvus 2.4 开始，引入了多向量支持和混合搜索框架，单个collection可以支持10个向量字段。不同的向量字段可以表示不同的方面、不同的embedding模型甚至表征同一实体的不同数据模态。该功能在综合搜索场景中特别有用，例如根据图片、语音、指纹等各种属性来识别向量库中最相似的人。多向量搜索支持在多个向量字段上执行搜索请求，并使用重排名策略（例如RRF和加权评分）组合结果。客户端pymilvus需要2.4版本。

从 Milvus 2.4 开始，引入了多向量支持和混合搜索框架，单个collection可以支持10个向量字段。不同的向量字段可以表示不同的方面、不同的embedding模型甚至表征同一实体的不同数据模态。该功能在综合搜索场景中特别有用，例如根据图片、语音、指纹等各种属性来识别向量库中最相似的人。多向量搜索支持在多个向量字段上执行搜索请求，并使用重排名策略（例如RRF和加权评分）组合结果。集合hello_milvus有2个向量字段embeddings1、embeddings2。

datanode是一个接口，实现datanode api功能。components.NewDataNode是一个函数。NewDataNode()用来创建DataNode结构体。grpcdatanode.NewServer()产生的是本结构体Server。dn.NewDataNode()返回一个结构体,是 types.DataNodeComponent接口的一个实现datanode.DataNode结构体。

dataCoord是一个接口，实现dataCoord api功能。components.NewDataCoord是一个函数。NewDataCoord()用来创建DataCoord结构体。grpcdatacoordclient.NewServer()产生的是本结构体Server。datacoord.CreateServer()返回一个结构体datacoord.Server，是接口types.DataCoordComponent的实现。

从代码框架可以看出每一种mq都有一个工厂，存储只有一个工厂。

querynode是一个接口，实现querynode api功能。components.NewQueryNode是一个函数。NewQueryNode()用来创建QueryNode结构体。grpcquerynode.NewServer()产生的是本结构体Server。qn.NewQueryNode()返回一个结构体,是 types.QueryNodeComponen接口的一个实现。

分析变量dataCoord、rootCoord是何时赋予的值。queryCoord是一个接口，实现queryCoord api功能。components.NewQueryCoord是一个函数。NewQueryCoord()用来创建QueryCoord结构体。grpcquerycoord.NewServer()产生的是本结构体Server。qc.NewQueryCoord()返回一个结构体，是types.QueryCoordComponent接口的实现。

分析变量rootCoordClient、dataCoordClient、queryCoordClient是何时赋予的值。proxy是一个接口，实现proxyapi功能。components.NewProxy是一个函数。NewProxy()用来创建Proxy结构体。rc.NewServer()产生的是本结构体Server。proxy.NewProxy()产生结构体，是types.ProxyComponent接口的实现。代码位于。

分析变量rootCoord、dataCoord、queryCoord是何时赋予的值。rootCoord是一个接口，实现rootCoord api功能。components.NewRootCoord是一个函数。NewRootCoord()用来创建RootCoord结构体。rc.NewServer()产生的是本结构体Server。rootcoord.NewCore()产生结构体，是types.RootCoordComponent接口的实现。s.rootCoord的结构体叫做Core。

分析各组件的服务端API。

只有Proxy和IndexNode没有ctx。为什么这2个没有ctx?由于IndexCoord和DataCoord合并了，这里结构体为空。各组件启动，需要构建各组件的结构体，一共8个。真正的组件功能API都在Server端。每个服务端都有自己的API。

dataCoord.compaction.global.interval = 60 #默认60秒,触发compaction信号。dataCoord.compaction.check.interval = 10 #默认10秒,更新状态。compaction用来合并对象存储的小文件，将小的segment合并为大的segment。dataCoord.compaction.max.segment = 30 #默认30。dataCoord.compaction.min.segment = 3 #默认3。

版本:v2.3.2。

使用了utility工具类判断collection是否存在、load状态。

索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。

索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。

索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。

索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。

此api的功能是向量相似度搜索(vector similarity search)

索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。

索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。

PyMilvus 是 Milvus 的 Python SDK。

collection属于某个db。使用attu创建collection。

使用Docker Compose安装 Milvus standalone（即单机版），进行一个快速milvus的体验。前提条件：1.系统可以使用centos或者ubuntu2.系统已经安装docker和docker-compose3.milvus版本这里使用2.3.12。

Knowhere 是 Milvus 的核心向量执行引擎，集成了和等多个向量相似度搜索库。