【向量库】Weaviate概述与架构解析

原创 已于 2025-06-09 22:54:35 修改 · 1.1k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#架构

于 2025-06-09 22:53:28 首次发布

文章目录

一、什么是weaviate

Weaviate 是一个开源的向量数据库（vector database），它能够同时存储数据对象和它们的向量表示。

与传统的关系型数据库不同，Weaviate 支持基于语义相似度的检索（即向量搜索/语义搜索（向量和文本相似的搜索）），可以高效地处理文本、图片等多种类型的数据，并支持结合结构化过滤进行复杂查询。

Weaviate 的主要特点包括：
搜索：

  • 高效的向量检索：能够在百万级甚至更大规模的数据集中，毫秒级完成最近邻（Nearest Neighbor）搜索。
  • 混合搜索: 结合向量搜索和关键词搜索（文本和向量搜索ing）
  • 向量搜索: 基于 HNSW 算法的高效向量索引
  • 多媒体支持：支持文本、图片等多种数据类型的向量化和检索。

典型应用场景包括语义搜索、图片搜索、相似性检索、推荐系统、异常检测、数据分类等Weaviate 简介 官方文档。

 

二、High-Level Architecture

参考：
https://deepwiki.com/search/highlevel-architecture_254cebb0-bc55-4fd7-a374-cfbcaaaaa6ea

在这里插入图片描述

如上架构图体现了 Weaviate 的分层设计：
API 层处理外部接口，Core Components 管理业务逻辑，Extension System 提供可插拔功能，Storage Layer 负责数据持久化。

 

1. Core Components

核心组件描述
API LayerWeaviate主要入口点，支持REST API（负责设置各种REST处理器，含认证、授权、Schema、对象操作、批量处理、GraphQL接口 ）、gRPC API（提供高性能服务，含traverser、认证、schema管理、批量管理功能 ）、GraphQL API（提供查询接口，通过traverser解析请求 ）
Objects Manager管理单个对象的CRUD操作，依赖Schema Manager、DB、Modules和授权器
通过ShardLike接口实现对象的CRUD操作，如PutObject、ObjectByID、DeleteObject等
Schema Manager1. 负责类定义和元数据管理，集群级别通过Indexer接口处理类的增删改查；
2. 用例层通过SchemaManager接口提供强一致性schema操作；负责数据模型管理，与集群服务的Raft协议集成以保证一致性
Cluster Service管理分布式协调，使用Raft共识算法

 

2. Storage Layer

核心组件描述
LSM KV Store每个Shard包含一个，用于持久化对象数据
Vector Indices (HNSW)Shard支持多个，含主向量索引和命名向量索引
Inverted Indices通过属性索引实现，支持文本搜索和过滤功能
Object Storage通过LSM - KV存储实现，支持创建不同策略的存储桶

3. 组件交互流程

  1. 请求流程: API Layer → Objects/Batch Manager → DB → Index → Shard → Storage Layer
  2. 集群协调: Cluster Service 通过 Raft 同步 Schema 变更（元数据通过raft算法）
  3. 模块集成: Modules Provider 为各组件提供向量化和 AI 功能
  4. 查询执行: Traverser 协调 DB 和 Explorer 执行复杂查询

 

三、核心组件

1. API Layer

Weaviate provides multiple API interfaces:

  • REST API: Traditional HTTP-based interface for CRUD operations
  • GraphQL API: Rich query language with advanced filtering and traversal
  • gRPC API: High-performance binary protocol for efficient data transfer

These interfaces expose Weaviate’s functionality for data management, search, and schema operations.

 

2. Schema Management

The schema system defines the structure of data stored in Weaviate:

  • Classes: Define object types (similar to tables in relational databases)
  • Properties: Define fields within classes
  • Data Types: Support for primitive types and references
  • Vector Configurations: Settings for vectorization and indexing

Schema changes are managed through a RAFT consensus algorithm to ensure consistency across distributed deployments.

 

3. Vector Indexing

Weaviate 使用分层可导航小世界（HNSW）图来实现快速近似最近邻搜索。该算法创建了一个多层图结构，即使对于数百万个向量，也能实现对数时间的相似性搜索。

Weaviate uses Hierarchical Navigable Small World (HNSW) graphs for fast approximate nearest-neighbor search. This algorithm creates a multi-layered graph structure that enables logarithmic-time similarity searches even with millions of vectors.

HNSW 算法核心特性

  • 多层图结构：通过在不同层级（从粗到细）建立节点连接，形成 “高速公路” 式的搜索路径。底层包含所有节点，高层为底层的稀疏采样，层级越高节点越少但连接跨度越大。
  • 近似搜索：不保证找到绝对精确的最近邻，但能在合理时间内返回足够近似的结果，适合大规模向量数据场景（如数百万至数十亿向量）。

 

3.1. 查询原理

在这里插入图片描述

上图图清晰地展示了 HNSW（Hierarchical Navigable Small World，分层可导航小世界） 算法的核心流程和索引结构，分为左右两部分：Search Process（搜索流程）和 HNSW Index Structure（HNSW 索引结构）。
 

3.2. 左侧：Search Process（搜索流程）

描述新向量（查询向量）如何在 HNSW 中找到最近邻，步骤如下：

  1. New Vector（新向量）
    • 输入：待查询的向量（如用户输入的文本转换的向量、图像特征向量等）。
    • 作用：触发一次近似最近邻搜索（Approximate Nearest Neighbor Search）。
  2. Start at Entry Point（从入口点开始）
    • HNSW 会预先确定一个全局入口点（Entry Point），作为搜索的起始节点。
    • 作用：避免随机起始导致的低效，确保从“高层”开始快速缩小范围。
  3. Greedy Traversal（贪心遍历） 策略：从入口点开始，逐层向下，在每一层中“贪心”选择距离查询向量最近（局部最优加速搜索）的邻居节点，快速向目标区域逼近。
  4. Explore Neighbors（探索邻居）
    • 在底层（Layer 0），算法会精细化探索邻居节点，对比更多候选（如何对比），提升结果精度。
    • 作用：在高层快速缩小范围后，底层用更密集的连接确保结果质量。
  5. K-Nearest Neighbors（K 近邻结果）
    • 输出：最终找到与查询向量最相似的 K 个节点（向量），完成近似最近邻搜索。

 

3.3. 右侧：HNSW Index Structure（HNSW 索引结构）

描述HNSW 的多层图结构，从查询向量的视角看索引的层次：

  1. Query Vector（查询向量） ：搜索的输入
  2. Entry Point（入口点） ：全局统一的起始节点，所有搜索都从这里进入高层图，确保搜索路径的一致性。
  3. Layer 2 - Sparse Graph（第 2 层 - 稀疏图） ：高层（如 Layer 2）：节点少、连接稀疏，跨度大（类似“高速公路”）。 快速跳过大量无关节点，用最少步骤定位到“大致区域”。
  4. Layer 1 - Denser Graph（第 1 层 - 较密集图） ： 中层（如 Layer 1）：节点和连接比高层更密集，开始缩小搜索范围。 在高层定位的基础上，进一步逼近目标区域。
  5. Layer 0 - Densest Graph（第 0 层 - 最密集图） ：底层（Layer 0）：包含所有原始数据节点，连接最密集。 作用：精细化搜索，确保找到足够近似的最近邻。

 

3.4. 小结

  1. 分层设计的意义：

    • 高层（稀疏）负责快速“跳跃”，用最少步骤缩小范围；
    • 底层（密集）负责精细化搜索，保证结果精度。
    • 这种“先粗后细”的方式，让 HNSW 在百万/亿级向量中仍能高效搜索。

  2. 与传统算法的区别：

    • 传统 KNN 是“暴力遍历”（逐层对比所有节点），复杂度 (O(n))；
    • HNSW 用多层图将复杂度降为 O(log n)，适合大规模数据。

  3. 参数影响：

    • 层数、每层连接数（M）、构建时的搜索范围（efConstruction）等参数，会影响索引大小、构建时间和搜索效率，需根据数据规模调优。

 

4. Storage System

Weaviate uses an LSM (Log-Structured Merge-tree) key-value store for persistent storage:

  • Memtables: In-memory storage for recent writes
  • Segment Files: Immutable disk storage
  • Compaction: Background process to optimize storage

The storage system is designed for high write throughput and efficient reads, with support for sharding and replication in distributed deployments.

 

5. Module System

Weaviate’s module system provides a flexible way to extend functionality:

  • Vectorizers: Transform raw data into vector embeddings
  • Text Modules: Process and analyze text data
  • Image Modules: Process and analyze image data
  • Custom Modules: Support for user-defined extensions
    Modules can be added or configured to tailor Weaviate to specific use cases.

在这里插入图片描述
 

ModaHub魔搭社区：向量数据库Weaviate与Milvus分析报告
实战AI智能体
07-13 2396
在这份报告中，我们将深入分析Weaviate与Milvus两款开源向量数据库，通过比较其可扩展性、功能、设计等方面的差异，以帮助您根据自身需求选择最适合的数据库。Milvus支持Partition/Namespace/逻辑分组功能，使用户能够将数据库划分为逻辑上独立的组别，从而实现更灵活的数据管理和更好的性能。例如，在实时信息检索系统中，用户可以将不同类型的数据（如文本、图像或视频）划分为不同的Partition，以便更好地进行搜索和过滤。在选择时，请根据您的具体需求评估两款数据库的功能匹配度。
向量检索与 RAG 实践：关键概念、应用场景与高效索引实战
qq_38334677的博客
01-07 1746
在当代信息爆炸的时代，如何从海量数据中精准地找出与用户需求最为匹配的内容，成为了亟待解决的问题。传统的文本检索方法更多依赖于关键词匹配或基于倒排索引的策略。然而，随着自然语言处理、语义理解以及深度学习的飞速发展，越来越多的场景需要更高层次、更具语义化的检索方式。在此背景下，向量检索（Vector Search）应运而生。向量检索，本质上就是将文本、图像、音频或者更广义的高维数据用向量（通常是浮点数数组）的形式表示，并在检索阶段将待查询的数据也转化为向量，进而通过计算相似度来判断“匹配程度”的一种检索方式。
使用weaviate实现向量存储
make_progress的博客
05-19 4567
当下开源的向量数据库比较多，主要分嵌入式向量数据库（数据库和应用在一起）和客户端-服务器模型向量数据库（客户端和服务器分离），比较出名数据库如下：嵌入式包括Chroma、lancedb，客户端和服务器分离的包括：Milvus、Faiss、Qdrant和Weaviate等。本文选择Weaviate。Weaviate是一个人工智能原生矢量数据库，强调与知识图的灵活高效交互，支持单节点和集群部署，支持关键词检索和语义检索。
【RAG落地利器】向量数据库Weaviate部署与使用教程，收藏这一篇就够了！！
最新发布
嘴巴吃糖了
06-19 1351
Weaviate 是一种开源的向量搜索引擎数据库，允许以类属性的方式存储 JSON 文档，并将机器学习向量附加到这些文档上，以在向量空间中表示它们。Weaviate 支持语义搜索、问答提取、分类等功能，并且可以通过 GraphQL-API 轻松访问数据。
【RAG落地利器】向量数据库Weaviate部署与使用教程
Android23333的博客
02-08 7626
Weaviate 是一种开源的向量搜索引擎数据库，允许以类属性的方式存储 JSON 文档，并将机器学习向量附加到这些文档上，以在向量空间中表示它们。Weaviate 支持语义搜索、问答提取、分类等功能，并且可以通过 GraphQL-API 轻松访问数据。
weaviate向量库安装
liuzhenghua66的博客
03-19 1920
Weaviate 是一个开源的向量数据库和搜索引擎，专门用于存储、搜索和分析向量数据。它提供了一个简单易用的 REST API，使得用户可以轻松地将向量数据存储到数据库中，并且能够以高效的方式进行相似向量的搜索。以下是一些 Weaviate 向量库的特点和优势：支持向量数据： Weaviate 专门针对向量数据进行了优化，可以高效地存储和检索向量数据，适用于各种类型的向量数据，如图像特征、文本向量、语音特征等。
Weaviate
AI工程化、开源分享、文档翻译、代码笔记
03-27 1485
Weaviate is a cloud-native, open source vector database that is robust, fast, and scalable.Multiple deployment options are available to cater for different users and use cases.All options offer vectorizer and RAG module integration.Weaviate is flexible and
Weaviate与Ollama架构深度解析
Weaviate与Ollama架构概述 ## 1.1 Weaviate和Ollama简介 Weaviate和Ollama是当前AI领域内新兴的开源项目，它们代表了搜索引擎技术的前沿进展。Weaviate是一种基于知识图谱的搜索引擎，能够实现对大量非结构化数据...
大模型之RAG-基于向量检索的理论与实战，对比关键字检索方案
weixin_42924914的博客
09-21 1538
向量是一种有大小和方向的数学对象。它可以表示为从一个点到另一个点的有向线段。例如，二维空间中的向量可以表示为 (𝑥,𝑦)(𝑥,𝑦)，表示从原点 (0,0)(0,0) 到点 (𝑥,𝑦)(𝑥,𝑦) 的有向线段。以此类推，我可以用一组坐标 (𝑥0,𝑥1,…,𝑥𝑁−1)(𝑥0,𝑥1,…,𝑥𝑁−1) 表示一个 𝑁𝑁 维空间中的向量，𝑁𝑁 叫向量的维度。之所以介绍一下chromadb，下面我们的实战demo就是基于chromadb来实现。
Weaviate与Ollama整合秘籍
![Weaviate与Ollama整合秘籍]... Weaviate与Ollama概览 在当今的数字时代，数据管理与检索效率成为IT行业中一个不断增长的挑战。Weaviate和Ollama作为新兴的技术解决方案
数据库领域vector向量数据库的安全审计机制
2502_91592937的博客
04-16 1678
本文旨在全面解析vector向量数据库的安全审计机制，涵盖从基础理论到工程实践的完整知识体系。重点讨论向量数据库特有的安全挑战和解决方案，包括高维数据保护、相似性搜索审计、隐私保护机制等特殊需求。本文首先介绍向量数据库的安全特性，然后深入分析审计机制的核心组件。通过数学模型和代码实现展示技术细节，最后讨论实际应用和未来趋势。向量数据库：专门存储、索引和查询向量数据的数据库系统安全审计：记录和分析系统安全相关事件的过程嵌入向量：将原始数据转换为固定维度的数值向量表示性能与安全的平衡。
[深入了解Weaviate：开源向量数据库的强大功能与应用]
mmlihaio的博客
11-15 774
通过本文，您已经了解了Weaviate的基本功能和应用场景。Weaviate官方文档Weaviate GitHub项目入门指南。
【Weaviate】数据库：向量存储与搜索的新纪元
博客虽小，世界尽在其中
03-17 2298
WeaviateWeaviate 是一个向量数据库，它的主要作用是存储和搜索文本、图片、音频等数据的向量表示。想象你有一个大图书馆📚，但里面的书没有分类、没有索引，想找某一本书只能一本一本翻，效率非常低。Weaviate 就像一个超级智能图书管理员，它会把每本书的内容转换成数字（向量），然后存起来，想要搜索时，输入一句话，它就能迅速找到最相似的内容！💡2、Weaviate 能做什么？1️⃣智能搜索🔍 你输入 "一部关于人工智能的科幻电影"，它能立刻找到《黑客帝国》《她》等类似的电影。
解密Weaviate：从入门到精通的向量数据库
qq_29929123的博客
10-15 1093
Weaviate是一款开源的向量搜索引擎，专门设计用于存储和搜索数据对象及其向量表示。它允许你将JSON文档以类属性的方式存储，并将机器学习向量附加到这些文档中，从而在向量空间中进行表示。Weaviate支持多种媒体类型（如文本、图像等），并提供语义搜索、问题回答提取、分类等功能。Weaviate是一个功能强大的工具，适用于多种搜索和存储场景。无论你是初学者还是专业人士，它都能为你的项目提供驱动力。
Docker部署Weaviate
Made In SQL
05-09 1205
Weaviate是一个支持Docker部署的开源矢量搜索数据库。用户可以通过命令行使用默认设置快速启动Weaviate，或通过自定义配置文件来满足特定需求。默认设置包括数据存储路径、匿名访问权限和查询限制等。对于更复杂的配置，可以使用Docker Compose文件，支持集成多种API模型（如OpenAI、Cohere等），并允许数据持久化和模块化扩展。此外，Weaviate还提供了配置生成工具，帮助用户选择特定模块和版本。在多节点配置中，Weaviate支持水平复制，通过设置环境变量实现节点间的通信和数据
利用Weaviate实现RAG：深入解析与实践
tt_jishu的博客
09-30 1012
本文介绍了使用Weaviate和LangChain实现RAG的基本步骤。通过正确的环境设置和配置，您可以高效地管理和使用数据。通过本文，我们了解了如何利用Weaviate和LangChain实现RAG，以及在配置和实现过程中可能面临的挑战。Weaviate官方文档LangChain GitHub仓库LangSmith官方介绍。
使用Weaviate进行文档检索与处理指南
qq_29929123的博客
08-02 610
是我们用于从Weaviate中检索文档的基础类。它通过矢量查找方式检索文档，支持将检索到的文档拼接成一个Document对象，也可以返回每个单独的Document对象。希望这篇文章能帮助你更好地理解和使用Weaviate进行文档检索。Weaviate 官方文档OpenAI API 文档。
探索Weaviate：高效的开源向量数据库
mmlihaio的博客
12-14 892
Weaviate是一个开放源码的向量搜索引擎数据库，旨在通过连接机器学习向量和JSON文档，将数据表示为向量空间。无论是独立使用还是与模块结合，Weaviate都能助力您的向量管理和搜索。Weaviate为开发者提供了一个强大而高效的工具来进行向量数据的存储和搜索。通过本文的介绍，希望您能开始探索Weaviate的潜力。Weaviate官方文档Weaviate开源基准测试Weaviate Python SDK使用指南。
spring ai 向量数据库
03-22
### 关于Spring Framework与AI向量数据库的集成 #### 背景介绍 Spring Framework 是一个广泛使用的 Java 开发框架，提供了多种模块来简化应用程序的开发过程。随着 AI 技术的发展，特别是自然语言处理（NLP）、图像识别等领域的需求增加，向量数据库逐渐成为一种重要的技术工具。向量数据库能够高效存储和检索高维数据，例如嵌入式表示（embeddings），这些数据通常由机器学习模型生成。 尽管 Spring Framework 并未直接提供针对向量数据库的支持[^1]，但可以通过扩展其生态系统中的组件与其他库或服务协同工作，从而实现与向量数据库的集成。 --- #### 集成方法概述 以下是几种可能的方式，可以将 Spring 应用程序与向量数据库结合起来： 1. **通过 HTTP 客户端调用外部向量数据库 API** 如果使用的是云托管的向量数据库（如 Pinecone、Milvus 或 Weaviate），可以直接利用 `Spring Web` 提供的功能发送 HTTP 请求到目标服务。这允许开发者轻松地执行 CRUD 操作以及复杂的相似度搜索。 示例代码如下： ```java import org.springframework.web.client.RestTemplate; public class VectorDatabaseClient { private final RestTemplate restTemplate = new RestTemplate(); public String searchSimilarVectors(String queryVector) { String url = "https://vector-database-service.com/api/search"; return restTemplate.postForObject(url, queryVector, String.class); } } ``` 2. **引入第三方客户端 SDK** 许多流行的向量数据库都提供了官方或者社区支持的 Java SDK。例如 Milvus 的 Java Client 可以被无缝集成至 Spring Boot 项目中。这样做的好处是可以避免手动解析 JSON 响应并提高编码效率。 下面是一个简单的例子展示如何配置此类依赖项： ```xml <!-- Maven Dependency --> <dependency> <groupId>io.milvus</groupId> <artifactId>milvus-sdk-java</artifactId> <version>2.x.x</version> </dependency> ``` 3. **定制 Repository 层封装业务逻辑** 对于更复杂的应用场景，建议定义专门的数据访问层（Repository）。此模式下可隐藏底层细节并将具体操作抽象化以便后续维护升级更加便捷。假设我们正在设计这样一个类，则大致结构可能是这样的： ```java @Service public class VectorRepository { private final RSocketRequester requester; // Or any other client type. public VectorRepository(RSocketRequester.Builder builder){ this.requester = builder.tcp("localhost",7000).rsocketStrategies(...).build(); } public List<VectorEntity> findNearestNeighbors(VectorQuery query){ ... } } ``` 4. **结合消息队列异步处理任务** 当面对大规模并发请求时，考虑采用 Kafka/Zookeeper/RabbitMQ 等中间件分摊压力不失为明智之举。借助 `Spring Integration` 和 `Spring Cloud Stream`，能轻易达成上述目的同时保持系统的灵活性与伸缩性。 --- #### 注意事项 - 向量索引构建耗时较长，在线环境下需谨慎评估是否适合即时更新策略； - 数据一致性问题不容忽视，尤其是在分布式环境中跨多个节点同步状态期间可能出现短暂不一致现象； - 性能优化至关重要，务必关注内存占用率及磁盘 I/O 效率等方面的表现； --- ### 结论 虽然当前版本的 Spring Framework 尚无内置对 AI 向量数据库的支持[^2]，然而凭借强大的插件体系及其高度灵活的设计理念完全可以满足实际需求。只要合理规划架构布局再辅以恰当的技术选型就能成功搭建起融合现代人工智能特性的企业级解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

roman_日积跬步-终至千里

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值