使用 Milvus 进行向量存储与检索

欢迎来到 Milvus 的世界！Milvus 是一个数据库，它存储、索引和管理由深度神经网络和其它机器学习模型生成的海量嵌入向量。本文将详细介绍如何安装和使用 Milvus 进行向量存储与检索，包括实际的代码实现。

一、技术背景介绍

嵌入向量是机器学习模型生成的高维度数据表示，用于捕捉数据的特征。然而，处理这些海量数据是一项挑战。Milvus 的出现，解决了向量存储和检索的问题，使得在海量数据中快速查找相似向量成为可能。

二、核心原理解析

Milvus 通过智能的索引机制（如IVF、PQ、HNSW等）来高效地存储和检索向量。它采用分布式架构，可以扩展到数十亿级别的向量数据，适用于多种应用场景，如推荐系统、图像检索、自然语言处理等。

三、代码实现演示

下面我们通过实际的代码来演示如何安装 Milvus、存储向量并进行检索。

1. 安装 Milvus 和 Python SDK

首先，你需要安装 Milvus 和其 Python SDK。你可以通过以下命令来安装 Python SDK：

pip install pymilvus

2. 初始化 Milvus 客户端

接下来，我们需要初始化 Milvus 客户端，并连接到 Milvus 服务器：

from pymilvus import connections

# 连接到 Milvus 服务器
connections.connect(alias="default", host='localhost', port='19530')

3. 创建 Collection 并插入向量

我们需要创建一个 collection（类似于数据库中的表）来存储向量，并插入一些示例向量：

from pymilvus import FieldSchema, CollectionSchema, DataType, Collection

# 定义字段
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=128)
]

# 创建 schema
schema = CollectionSchema(fields, "example collection")

# 创建 collection
collection = Collection("example_collection", schema)

# 插入示例向量
import numpy as np

vectors = np.random.random([10, 128]).tolist()
ids = [i for i in range(10)]

collection.insert([ids, vectors])

4. 创建索引并执行检索

为了加速检索过程，我们需要为 collection 创建索引，然后执行向量检索：

# 创建索引
index_params = {
    "index_type": "IVF_FLAT",
    "params": {"nlist": 128},
    "metric_type": "L2"
}
collection.create_index(field_name="embedding", index_params=index_params)

# 加载 collection 到内存
collection.load()

# 执行向量检索
query_vectors = np.random.random([1, 128]).tolist()
search_params = {"metric_type": "L2", "params": {"nprobe": 10}}

results = collection.search(query_vectors, "embedding", search_params, limit=3)

# 打印结果
for result in results:
    print(f"Top 3 results: {result}")

四、应用场景分析

Milvus 可以应用于各种需要高效向量检索的场景：

• 推荐系统：根据用户行为向量查找相似用户或相似物品，进行个性化推荐。
• 图像检索：将图像转换为向量，通过向量检索找到相似图像。
• 自然语言处理：将文本转换为向量，根据向量查找相似文本或回答用户的问题。

五、实践建议

在实际应用中，可以根据具体需求选择合适的索引类型和参数。定期优化索引，清理不再需要的数据。同时，结合缓存技术，进一步提高检索性能。

如果遇到问题欢迎在评论区交流。