关于作者
- 深耕领域:大语言模型开发 / RAG 知识库 / AI Agent 落地 / 模型微调
- 技术栈:Python | RAG (LangChain / Dify + Milvus) | FastAPI + Docker
- 工程能力:专注模型工程化部署、知识库构建与优化,擅长全流程解决方案
「让 AI 交互更智能,让技术落地更高效」
欢迎技术探讨与项目合作,解锁大模型与智能交互的无限可能!
Milvus:十亿级向量搜索的工业级方案
在向量数据库领域,Milvus 是一个独特的存在。它不是最早出现的,但可能是最野心勃勃的——从设计之初就瞄准了十亿级向量的分布式场景。Discord 用它处理数亿条消息的语义搜索,Johnson & Johnson 用它加速药物发现,Mozilla 用它构建推荐系统。这些案例背后,是 Milvus 独特的架构设计。
从搜索引擎到数据库的进化
Milvus 的前身是一个向量搜索引擎,类似于 Elasticsearch 之于文本搜索。但团队很快意识到,单纯的搜索能力不足以支撑生产级应用。数据库需要的不只是查询,还有持久化、事务、高可用、多租户……
于是 Milvus 2.0 进行了彻底重构。它借鉴了 Snowflake 的存算分离架构,将系统拆分为协调层、工作节点层和存储层。每一层都可以独立扩展,根据负载动态调整资源。
存算分离:云原生架构的核心
传统数据库采用"共享 nothing"架构,每个节点独立存储和计算。这种架构简单,但扩展困难——增加节点需要重新分片数据,减少节点需要迁移数据。
Snowflake 开创了"共享存储"架构:计算和存储分离,数据统一存放在对象存储(如 S3),计算节点无状态,可以随时增减。这种架构天生适合云环境,也是 Milvus 2.0 的核心设计。
在 Milvus 中,数据最终持久化到 MinIO 或 S3。查询节点(Query Node)在内存中缓存热点数据,处理查询请求。当数据量增长时,只需增加查询节点,无需迁移数据。当查询压力增大时,可以增加查询节点的副本数,分摊负载。
这种架构带来的好处是显而易见的。首先是弹性扩展。存储和计算可以独立伸缩——数据量增长时增加存储配额,查询压力增长时增加计算节点。其次是成本优化。计算节点可以按需启停,闲时释放资源。第三是故障恢复快。节点无状态,重启或替换都很简单。
索引生态:为不同场景提供最优解
向量搜索没有万能的索引。高精度场景需要暴力搜索,低延迟场景需要 HNSW,内存受限场景需要量化压缩。Milvus 的策略是:全部支持,让用户自己选择。
FLAT 是最基础的索引,暴力搜索所有向量。精度最高,但速度最慢。适合数据量小(百万以下)或对精度要求极高的场景。
IVF_FLAT 基于聚类,将向量空间划分为 nlist 个簇。查询时只搜索最近的 nprobe 个簇。通过调整 nprobe,可以在速度和精度之间权衡。
IVF_PQ 在 IVF 的基础上引入乘积量化。它将向量压缩到原来的 1/8 甚至更小,大幅降低内存占用。代价是精度损失,适合超大规模数据。
HNSW 是目前最流行的索引。它构建多层图结构,查询时从顶层快速逼近目标。速度极快,精度很高,但内存占用大,构建索引慢。
DiskANN 是微软开发的磁盘索引。它将向量存储在 SSD 上,通过图结构加速访问。内存占用极低,适合无法将所有向量放入内存的场景。
GPU 索引 利用 GPU 的并行计算能力。Milvus 支持 NVIDIA 的 CAGRA 索引,在 GPU 上可以达到 CPU 十倍以上的吞吐量。
数据组织:Collection、Partition、Segment
Milvus 的数据组织分为三个层次。
Collection 是最顶层的概念,类似于关系数据库中的表。每个 Collection 定义了字段结构,包括向量字段和标量字段。
Partition 是 Collection 的逻辑分区。数据可以根据业务规则分配到不同分区,比如按时间、按地区。查询时可以只搜索特定分区,减少扫描范围。
Segment 是数据存储的物理单元。每个 Segment 存储一部分数据,包含向量索引和标量索引。Segment 是 Milvus 调度的最小单位——加载、释放、索引构建都以 Segment 为单位。
这种分层设计带来了灵活性。按时间分区,可以轻松实现"搜索最近一个月的文档"。按用户分区,可以实现多租户隔离。Segment 级别的索引,可以针对不同数据特征选择不同索引类型。
实战:构建一个语义搜索系统
假设我们要为一个技术博客构建语义搜索功能。用户输入问题,系统返回相关文章。
首先,定义 Collection 结构:
from pymilvus import MilvusClient, DataType
client = MililvusClient(uri="http://localhost:19530")
client.create_collection(
collection_name="tech_articles",
dimension=1536, # OpenAI embedding 维度
metric_type="COSINE",
auto_id=True,
fields=[
{"name": "title", "dtype": DataType.VARCHAR, "max_length": 512},
{"name": "content", "dtype": DataType.VARCHAR, "max_length": 65535},
{"name": "category", "dtype": DataType.VARCHAR, "max_length": 64},
{"name": "published_at", "dtype": DataType.INT64},
]
)
然后,插入数据。假设我们已经有了文章的向量嵌入:
articles = [
{
"title": "深入理解 Redis 持久化机制",
"content": "Redis 提供了 RDB 和 AOF 两种持久化方式...",
"category": "database",
"published_at": 1704067200,
"vector": [...] # 1536 维向量
},
# 更多文章...
]
client.insert(
collection_name="tech_articles",
data=articles
)
创建索引以加速查询:
client.create_index(
collection_name="tech_articles",
field_name="vector",
index_params={
"metric_type": "COSINE",
"index_type": "HNSW",
"params": {"M": 16, "efConstruction": 256}
}
)
执行语义搜索,同时按分类过滤:
results = client.search(
collection_name="tech_articles",
data=[query_vector],
filter="category == 'database' and published_at > 1704067200",
limit=10,
output_fields=["title", "content", "category"]
)
部署模式:从开发到生产
Milvus 提供了三种部署模式,适应不同阶段的需求。
Milvus Lite 是嵌入式版本,可以直接 pip 安装,数据存储在本地文件。适合开发测试、小规模应用。一个 Python 进程就能跑起来,无需任何依赖。
Milvus Standalone 是单机版本,使用 Docker 部署。所有组件运行在一个容器中,适合中小规模生产环境。支持持久化,可以处理千万级向量。
Milvus Distributed 是分布式版本,部署在 Kubernetes 上。各组件独立扩缩容,适合大规模生产环境。可以处理十亿级向量,支持高可用和跨机房部署。
性能调优:从 4K QPS 到 10K QPS
在官方论坛上,有用户分享了他们的调优经验。初始配置下,2500 万向量只能达到 4K QPS。经过优化后,提升到了 10K QPS。
关键优化点包括:
增加 Query Node 副本。每个副本加载一份数据,可以并行处理查询。但要注意内存消耗——每个副本都需要加载数据到内存。
调整 Segment 大小。Segment 太小会增加调度开销,太大会影响并行度。默认 512MB 是个不错的起点,可以根据实际情况调整。
选择合适的索引。HNSW 查询最快,但内存占用大。如果内存是瓶颈,可以考虑 IVF_PQ。
启用 mmap。对于 DiskANN 或内存不足的场景,启用 mmap 可以让操作系统管理内存和磁盘的交换。
批量查询。将多个查询合并为一个批量请求,减少网络往返。
生态与社区
Milvus 的生态相当完善。官方提供了 Python、Go、Java、Node.js 等 SDK。与 LangChain、LlamaIndex 等 AI 框架有深度集成。Spark、Kafka、Fivetran 等数据工具有现成的连接器。
社区活跃度也很高。GitHub 上有超过 3 万 star,Discord 社区有数万成员。遇到问题,通常能在文档或社区讨论中找到答案。
Zilliz 公司还提供了托管服务 Zilliz Cloud,免去了运维的烦恼。对于不想自己管理基础设施的团队,这是个不错的选择。
什么时候选择 Milvus
Milvus 适合以下场景:
数据规模在千万级以上,需要分布式部署。对查询延迟有严格要求,需要高性能索引。需要复杂的元数据过滤,不仅仅是向量搜索。团队有 Kubernetes 运维能力,或愿意使用托管服务。
对于小规模应用(百万级向量),Chroma 或 Qdrant 可能更简单。对于纯研究场景,Faiss 的灵活性更高。但对于生产级的大规模向量搜索,Milvus 是目前最成熟的开源方案之一。
延伸阅读
- Milvus 官方文档:https://milvus.io/docs/
- Milvus GitHub:https://github.com/milvus-io/milvus
- Zilliz Cloud:https://zilliz.com/
- Milvus 性能基准测试:https://zilliz.com/benchmark
292



被折叠的 条评论
为什么被折叠?



