作者：运维有术星主

Milvus 是一个为通用人工智能(GenAI)应用而构建的开源向量数据库。它以卓越的性能和灵活性，提供了一个强大的平台，用于存储、搜索和管理大规模的向量数据。Milvus 能够执行高速搜索，并以最小的性能损失扩展到数百亿向量。其分布式架构确保了系统的高可用性和水平可扩展性，满足不断增长的数据需求。同时，Milvus 提供了丰富的 API 和集成选项，使其成为机器学习、计算机视觉和自然语言处理等 AI 应用的理想选择。

随着 AI 大模型的兴起，Milvus 成为了众多 AI 应用的首选向量数据库。本文将引导您探索，如何在 KubeSphere 管理的 Kubernetes 集群上，高效地部署和管理 Milvus 集群，让您的应用能够充分利用 Milvus 的强大功能。

实战服务器配置(架构 1:1 复刻小规模生产环境，配置略有不同)

主机名

IP

CPU

内存

系统盘

数据盘

用途

ksp-registry

192.168.9.90

4

8

40

200

Harbor 镜像仓库

ksp-control-1

192.168.9.91

4

8

40

100

KubeSphere/k8s-control-plane

ksp-control-2

192.168.9.92

4

8

40

100

KubeSphere/k8s-control-plane

ksp-control-3

192.168.9.93

4

8

40

100

KubeSphere/k8s-control-plane

ksp-worker-1

192.168.9.94

8

16

40

100

k8s-worker/CI

ksp-worker-2

192.168.9.95

8

16

40

100

k8s-worker

ksp-worker-3

192.168.9.96

8

16

40

100

k8s-worker

ksp-storage-1

192.168.9.97

4

8

40

400+

ElasticSearch/Longhorn/Ceph/NFS

ksp-storage-2

192.168.9.98

4

8

40

300+

ElasticSearch/Longhorn/Ceph

ksp-storage-3

192.168.9.99

4

8

40

300+

ElasticSearch/Longhorn/Ceph

ksp-gpu-worker-1

192.168.9.101

4

16

40

100

k8s-worker(GPU NVIDIA Tesla M40 24G)

ksp-gpu-worker-2

192.168.9.102

4

16

40

100

k8s-worker(GPU NVIDIA Tesla P100 16G)

ksp-gateway-1

192.168.9.103

2

4

40

自建应用服务代理网关/VIP：192.168.9.100

ksp-gateway-2

192.168.9.104

2

4

40

自建应用服务代理网关/VIP：192.168.9.100

ksp-mid

192.168.9.105

4

8

40

100

部署在 k8s 集群之外的服务节点(Gitlab 等)

合计

15

68

152

600

2100+

实战环境涉及软件版本信息

  • 操作系统：openEuler 22.03 LTS SP3 x86_64
  • KubeSphere：v3.4.1
  • Kubernetes：v1.28.8
  • KubeKey: v3.1.1
  • Milvus Helm Charts：4.2.0
  • Milvus： v.2.4.6

1. Milvus 部署规划

部署目标：官方架构图所示的 Milvus 集群(不包含 Load Balancer)。

KubeSphere 部署向量数据库 Milvus 实战指南_向量数据库

由于是初次安装部署，对 Milvus 的架构、组件关系仅有一个初步的了解，所以第一次部署只做如下考虑：

  • 使用 Helm 的方式，大部分配置采用默认的 Values 部署
  • 更改组件镜像地址为本地私有仓库
  • 持久化存储使用自定义的 NFS 存储类 nfs-sc(生产不建议用，可能会造成磁盘 IO 不满足 etcd 的需求)
  • coordinators 没有选择 mixCoordinator，而是使用多个独立的 coordinators，这种方案运维成本高，维护麻烦
  • 消息队列使用官方默认推荐的 pulsar，不选择 kafka

后续会深入研究，更正式的部署考虑：

  • 使用 Helm 和自定义 values 生成部署资源清单，修改清单，使用原生 kubectl 方式部署
  • 使用 Ceph 或是其它高性能存储，不使用 NFS 存储
  • 消息队列继续使用官方推荐的 pulsar
  • 使用社区官方推荐的包含所有 coordinators 的 mixCoordinator ，降低运维成本
  • 合理规划 Minio、Etcd、pulsar 等组件使用持久化存储时所分配的存储空间，默认配置不可能满足所有场景
  • Milvus 日志存储到持久化存储，适配没有集中日志采集能力的 k8s 集群

重要说明： 本文的内容对于安装部署 Milvus 有一定的借鉴意义，但切勿将本文的实战过程直接用于任何类型的正式环境。

2. 前置条件

以下内容来自  Milvus 官方环境需求文档，比较好理解，不做翻译了。

2.1 硬件需求

Component

Requirement

Recommendation

Note

CPU

Intel 2nd Gen Core CPU or higherApple Silicon

Standalone: 4 core or moreCluster: 8 core or more

CPU instruction set

SSE4.2AVXAVX2AVX-512

SSE4.2AVXAVX2AVX-512

Vector similarity search and index building within Milvus require CPU's support of single instruction, multiple data (SIMD) extension sets. Ensure that the CPU supports at least one of the SIMD extensions listed. See  CPUs with AVX for more information.

RAM

Standalone: 8GCluster: 32G

Standalone: 16GCluster: 128G

The size of RAM depends on the data volume.

Hard drive

SATA 3.0 SSD or CloudStorage

NVMe SSD or higher

The size of hard drive depends on the data volume.
2.2 软件需求

Operating system

Software

Note

Linux platforms

Kubernetes 1.16 or laterkubectlHelm 3.0.0 or laterminikube (for Milvus standalone)Docker 19.03 or later (for Milvus standalone)

See  Helm Docs for more information.

Software

Version

Note

etcd

3.5.0

See  additional disk requirements.

MinIO

RELEASE.2023-03-20T20-16-18Z

Pulsar

2.8.2
2.3 磁盘需求

磁盘性能对 etcd 至关重要。官方强烈建议使用本地 NVMe SSD 磁盘。较慢的磁盘响应可能导致频繁的集群选举，最终降低 etcd 服务的性能，甚至是集群的崩溃。

这个需求比较重要，我刚接触 Milvus 时，由于时间比较仓促，在略知一二的情况下，使用默认配置部署了一套半生产的 Milvus 集群。

因为选择了 NFS 存储且没有测试磁盘 IO 性能，经常会出现 etcd 服务异常，响应慢，被 Kubernetes 的存活检测机制判断为不可用，导致频繁自动重建 etcd 集群。

因此，在 K8s 上创建 Milvus 集群时最好先测试一下集群持久化存储的性能。

Milvus 官方给出的测试磁盘性能的工具和命令如下：

mkdir test-data
fio --rw=write --ioengine=sync --fdatasync=1 --directory=test-data --size=2200m --bs=2300 --name=mytest
  • 1.
  • 2.

测试结果，理想情况下，您的磁盘应该达到 500 IOPS 以上，99th percentile fsync latency 低于 10ms。请阅读  etcd 官方文档 了解更详细的需求。

具体的磁盘性能测试过程，请参考下文。

2.4 Kubernetes 集群配置

k8s 集群一定要配置默认存储类，Milvus 的 Helm 控制 stor