【向量库】Weaviate概述与架构解析

原创 已于 2025-06-09 22:54:35 修改 · 1.4k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#架构

于 2025-06-09 22:53:28 首次发布

文章目录

一、什么是weaviate

Weaviate 是一个开源的向量数据库（vector database），它能够同时存储数据对象和它们的向量表示。

与传统的关系型数据库不同，Weaviate 支持基于语义相似度的检索（即向量搜索/语义搜索（向量和文本相似的搜索）），可以高效地处理文本、图片等多种类型的数据，并支持结合结构化过滤进行复杂查询。

Weaviate 的主要特点包括：
搜索：

  • 高效的向量检索：能够在百万级甚至更大规模的数据集中，毫秒级完成最近邻（Nearest Neighbor）搜索。
  • 混合搜索: 结合向量搜索和关键词搜索（文本和向量搜索ing）
  • 向量搜索: 基于 HNSW 算法的高效向量索引
  • 多媒体支持：支持文本、图片等多种数据类型的向量化和检索。

典型应用场景包括语义搜索、图片搜索、相似性检索、推荐系统、异常检测、数据分类等Weaviate 简介 官方文档。

 

二、High-Level Architecture

参考：
https://deepwiki.com/search/highlevel-architecture_254cebb0-bc55-4fd7-a374-cfbcaaaaa6ea

在这里插入图片描述

如上架构图体现了 Weaviate 的分层设计：
API 层处理外部接口，Core Components 管理业务逻辑，Extension System 提供可插拔功能，Storage Layer 负责数据持久化。

 

1. Core Components

核心组件描述
API LayerWeaviate主要入口点，支持REST API（负责设置各种REST处理器，含认证、授权、Schema、对象操作、批量处理、GraphQL接口 ）、gRPC API（提供高性能服务，含traverser、认证、schema管理、批量管理功能 ）、GraphQL API（提供查询接口，通过traverser解析请求 ）
Objects Manager管理单个对象的CRUD操作，依赖Schema Manager、DB、Modules和授权器
通过ShardLike接口实现对象的CRUD操作，如PutObject、ObjectByID、DeleteObject等
Schema Manager1. 负责类定义和元数据管理，集群级别通过Indexer接口处理类的增删改查；
2. 用例层通过SchemaManager接口提供强一致性schema操作；负责数据模型管理，与集群服务的Raft协议集成以保证一致性
Cluster Service管理分布式协调，使用Raft共识算法

 

2. Storage Layer

核心组件描述
LSM KV Store每个Shard包含一个，用于持久化对象数据
Vector Indices (HNSW)Shard支持多个，含主向量索引和命名向量索引
Inverted Indices通过属性索引实现，支持文本搜索和过滤功能
Object Storage通过LSM - KV存储实现，支持创建不同策略的存储桶

3. 组件交互流程

  1. 请求流程: API Layer → Objects/Batch Manager → DB → Index → Shard → Storage Layer
  2. 集群协调: Cluster Service 通过 Raft 同步 Schema 变更（元数据通过raft算法）
  3. 模块集成: Modules Provider 为各组件提供向量化和 AI 功能
  4. 查询执行: Traverser 协调 DB 和 Explorer 执行复杂查询

 

三、核心组件

1. API Layer

Weaviate provides multiple API interfaces:

  • REST API: Traditional HTTP-based interface for CRUD operations
  • GraphQL API: Rich query language with advanced filtering and traversal
  • gRPC API: High-performance binary protocol for efficient data transfer

These interfaces expose Weaviate’s functionality for data management, search, and schema operations.

 

2. Schema Management

The schema system defines the structure of data stored in Weaviate:

  • Classes: Define object types (similar to tables in relational databases)
  • Properties: Define fields within classes
  • Data Types: Support for primitive types and references
  • Vector Configurations: Settings for vectorization and indexing

Schema changes are managed through a RAFT consensus algorithm to ensure consistency across distributed deployments.

 

3. Vector Indexing

Weaviate 使用分层可导航小世界（HNSW）图来实现快速近似最近邻搜索。该算法创建了一个多层图结构，即使对于数百万个向量，也能实现对数时间的相似性搜索。

Weaviate uses Hierarchical Navigable Small World (HNSW) graphs for fast approximate nearest-neighbor search. This algorithm creates a multi-layered graph structure that enables logarithmic-time similarity searches even with millions of vectors.

HNSW 算法核心特性

  • 多层图结构：通过在不同层级（从粗到细）建立节点连接，形成 “高速公路” 式的搜索路径。底层包含所有节点，高层为底层的稀疏采样，层级越高节点越少但连接跨度越大。
  • 近似搜索：不保证找到绝对精确的最近邻，但能在合理时间内返回足够近似的结果，适合大规模向量数据场景（如数百万至数十亿向量）。

 

3.1. 查询原理

在这里插入图片描述

上图图清晰地展示了 HNSW（Hierarchical Navigable Small World，分层可导航小世界） 算法的核心流程和索引结构，分为左右两部分：Search Process（搜索流程）和 HNSW Index Structure（HNSW 索引结构）。
 

3.2. 左侧：Search Process（搜索流程）

描述新向量（查询向量）如何在 HNSW 中找到最近邻，步骤如下：

  1. New Vector（新向量）
    • 输入：待查询的向量（如用户输入的文本转换的向量、图像特征向量等）。
    • 作用：触发一次近似最近邻搜索（Approximate Nearest Neighbor Search）。
  2. Start at Entry Point（从入口点开始）
    • HNSW 会预先确定一个全局入口点（Entry Point），作为搜索的起始节点。
    • 作用：避免随机起始导致的低效，确保从“高层”开始快速缩小范围。
  3. Greedy Traversal（贪心遍历） 策略：从入口点开始，逐层向下，在每一层中“贪心”选择距离查询向量最近（局部最优加速搜索）的邻居节点，快速向目标区域逼近。
  4. Explore Neighbors（探索邻居）
    • 在底层（Layer 0），算法会精细化探索邻居节点，对比更多候选（如何对比），提升结果精度。
    • 作用：在高层快速缩小范围后，底层用更密集的连接确保结果质量。
  5. K-Nearest Neighbors（K 近邻结果）
    • 输出：最终找到与查询向量最相似的 K 个节点（向量），完成近似最近邻搜索。

 

3.3. 右侧：HNSW Index Structure（HNSW 索引结构）

描述HNSW 的多层图结构，从查询向量的视角看索引的层次：

  1. Query Vector（查询向量） ：搜索的输入
  2. Entry Point（入口点） ：全局统一的起始节点，所有搜索都从这里进入高层图，确保搜索路径的一致性。
  3. Layer 2 - Sparse Graph（第 2 层 - 稀疏图） ：高层（如 Layer 2）：节点少、连接稀疏，跨度大（类似“高速公路”）。 快速跳过大量无关节点，用最少步骤定位到“大致区域”。
  4. Layer 1 - Denser Graph（第 1 层 - 较密集图） ： 中层（如 Layer 1）：节点和连接比高层更密集，开始缩小搜索范围。 在高层定位的基础上，进一步逼近目标区域。
  5. Layer 0 - Densest Graph（第 0 层 - 最密集图） ：底层（Layer 0）：包含所有原始数据节点，连接最密集。 作用：精细化搜索，确保找到足够近似的最近邻。

 

3.4. 小结

  1. 分层设计的意义：

    • 高层（稀疏）负责快速“跳跃”，用最少步骤缩小范围；
    • 底层（密集）负责精细化搜索，保证结果精度。
    • 这种“先粗后细”的方式，让 HNSW 在百万/亿级向量中仍能高效搜索。

  2. 与传统算法的区别：

    • 传统 KNN 是“暴力遍历”（逐层对比所有节点），复杂度 (O(n))；
    • HNSW 用多层图将复杂度降为 O(log n)，适合大规模数据。

  3. 参数影响：

    • 层数、每层连接数（M）、构建时的搜索范围（efConstruction）等参数，会影响索引大小、构建时间和搜索效率，需根据数据规模调优。

 

4. Storage System

Weaviate uses an LSM (Log-Structured Merge-tree) key-value store for persistent storage:

  • Memtables: In-memory storage for recent writes
  • Segment Files: Immutable disk storage
  • Compaction: Background process to optimize storage

The storage system is designed for high write throughput and efficient reads, with support for sharding and replication in distributed deployments.

 

5. Module System

Weaviate’s module system provides a flexible way to extend functionality:

  • Vectorizers: Transform raw data into vector embeddings
  • Text Modules: Process and analyze text data
  • Image Modules: Process and analyze image data
  • Custom Modules: Support for user-defined extensions
    Modules can be added or configured to tailor Weaviate to specific use cases.

在这里插入图片描述
 

ModaHub魔搭社区：向量数据库Weaviate与Milvus分析报告
实战AI智能体
07-13 2640
在这份报告中，我们将深入分析Weaviate与Milvus两款开源向量数据库，通过比较其可扩展性、功能、设计等方面的差异，以帮助您根据自身需求选择最适合的数据库。Milvus支持Partition/Namespace/逻辑分组功能，使用户能够将数据库划分为逻辑上独立的组别，从而实现更灵活的数据管理和更好的性能。例如，在实时信息检索系统中，用户可以将不同类型的数据（如文本、图像或视频）划分为不同的Partition，以便更好地进行搜索和过滤。在选择时，请根据您的具体需求评估两款数据库的功能匹配度。
RAG技术如何改变AI应用架构？资深架构师深度解析落地路径
AI天才研究院
07-27 666
检索增强生成（Retrieval-Augmented Generation，RAG）技术的出现，彻底打破了这一困局。RAG如何通过“检索外部知识+增强生成内容”的模式，重构AI应用的核心架构？相比传统LLM应用，RAG架构在知识更新、成本控制、安全性上有哪些本质优势？企业落地RAG需要经历哪些关键步骤？从数据处理、组件选型到系统集成，有哪些避坑指南和最佳实践？
【Weaviate】数据库：向量存储与搜索的新纪元
博客虽小，世界尽在其中
03-17 2998
WeaviateWeaviate 是一个向量数据库，它的主要作用是存储和搜索文本、图片、音频等数据的向量表示。想象你有一个大图书馆📚，但里面的书没有分类、没有索引，想找某一本书只能一本一本翻，效率非常低。Weaviate 就像一个超级智能图书管理员，它会把每本书的内容转换成数字（向量），然后存起来，想要搜索时，输入一句话，它就能迅速找到最相似的内容！💡2、Weaviate 能做什么？1️⃣智能搜索🔍 你输入 "一部关于人工智能的科幻电影"，它能立刻找到《黑客帝国》《她》等类似的电影。
Weaviate 介绍（向量数据库）
最新发布
nbspzs的专栏
10-21 533
Weaviate 是一个开源的 AI 原生向量数据库，专为大规模向量搜索和 AI 应用设计。它支持多种搜索方式（纯向量、语义和混合搜索），提供 RAG、AI 代理等功能，并可通过 SDK（Python/Go/JS）或 API（GraphQL/REST）访问。安装方式灵活：Docker 适合本地开发，Kubernetes 适配生产环境，Embedded 模式可嵌入应用，Cloud 服务提供托管方案。Weaviate 简化 AI 开发流程，支持亿级数据扩展，整合 ML 模型，是构建 AI 应用的理想选择。
weaviate向量库安装
liuzhenghua66的博客
03-19 2167
Weaviate 是一个开源的向量数据库和搜索引擎，专门用于存储、搜索和分析向量数据。它提供了一个简单易用的 REST API，使得用户可以轻松地将向量数据存储到数据库中，并且能够以高效的方式进行相似向量的搜索。以下是一些 Weaviate 向量库的特点和优势：支持向量数据： Weaviate 专门针对向量数据进行了优化，可以高效地存储和检索向量数据，适用于各种类型的向量数据，如图像特征、文本向量、语音特征等。
DocArray x Weaviate | 打造高效的云端数据存储
Jina AI 的博客
03-29 1009
Weaviate 作为 DocArray 中的 Document Store，可以使得 Document 在云端的处理和检索更加迅速。 DocArray & Weaviate 大起底 DocArray: Data structure for unstructured data DocArray 是一种可扩展数据结构，完美适配深度学习任务，主要用于嵌套及非结构化数据的传输， 支持的数据类型包括文本、图像、音频、视频、3D mesh 等。 与其他数据结构相比： ✅ 表示完全支持，✔ 表示部分支持，.
开源AI新协议！AI Agent与前端交互的轻量级协议，轻松构建交互式AI应用！
bugyinyin的博客
06-04 1352
AI Agent 的兴起让前端交互需求激增，但传统开发中，连接Agent后端与前端需大量定制代码，效率低下。 在 MCP（模型上下文协议）、A2A（Agent-to-Agent 通信协议）之后，AI Agent 的生态正在走向一个更完整的方向：AG-UI 协议横空出世，专为 Agent 与前端应用的通信交互而设计。
使用weaviate实现向量存储
make_progress的博客
05-19 4947
当下开源的向量数据库比较多，主要分嵌入式向量数据库（数据库和应用在一起）和客户端-服务器模型向量数据库（客户端和服务器分离），比较出名数据库如下：嵌入式包括Chroma、lancedb，客户端和服务器分离的包括：Milvus、Faiss、Qdrant和Weaviate等。本文选择Weaviate。Weaviate是一个人工智能原生矢量数据库，强调与知识图的灵活高效交互，支持单节点和集群部署，支持关键词检索和语义检索。
Weaviate与Ollama架构深度解析
Weaviate与Ollama架构概述 ## 1.1 Weaviate和Ollama简介 Weaviate和Ollama是当前AI领域内新兴的开源项目，它们代表了搜索引擎技术的前沿进展。Weaviate是一种基于知识图谱的搜索引擎，能够实现对大量非结构化数据...
深入解析向量数据库：选型指南与实战应用
嗨，欢迎来到我的 优快云 博客小天地！一名深耕多年的技术发烧友。在这里，我将把日常工作中积累的宝贵经验，从复杂架构设计的精妙之处，到代码优化的实战技巧，毫无保留地分享给大家。
04-19 6827
深入解析向量数据库：选型指南与实战应用
向量数据库weaviate
发呆的比目鱼的博客
11-08 828
对应AUTHENTICATION_APIKEY_ALLOWED_KEYS中的密钥# 注意：此处只需要密钥即可，不需要用户名称连接的本地部署的，可以连接服务器上部署的向量服务器。http_host和grpc_host替换服务器地址，两个是一样的5.注意事项如果你翻墙了或者开了代理，报502，连接失败。开启代理解决办法：Clash Verge点击系统代理，代理绕过里面添加192.168.*（代理里面使用规则，不要使用全球）
向量库Weaviate的搭建和使用
leonhongliang806的博客
05-16 3702
similarity_search可以指定alpha，0-1，值越小越偏向关键字检索，越大越偏向向量化检索。similarity_search_with_score是根据得分高低返回top n。这里的WeaviateVectorStore是用的langchain里的。使用docker compose up -d创建并启动。以下使用python代码示范如何灌库和查询。volumes是映射宿主机和容器的路径。langchain里提供了多种查询方式。index_name是库的名字。DATA_PATH存放数据。
向量数据库技术系列五-Weaviate介绍
恰恰虎的博客
03-16 2585
本文主要介绍了Weaviate的基本用法，并通过案例，实现了数据的向量化和近似检索。
【RAG落地利器】向量数据库Weaviate部署与使用教程
Android23333的博客
02-08 8456
Weaviate 是一种开源的向量搜索引擎数据库，允许以类属性的方式存储 JSON 文档，并将机器学习向量附加到这些文档上，以在向量空间中表示它们。Weaviate 支持语义搜索、问答提取、分类等功能，并且可以通过 GraphQL-API 轻松访问数据。
探索Weaviate：现代数据管理的开源向量数据库
ahdfwcevnhrtds的博客
10-28 816
Weaviate是一种开源向量搜索引擎，支持各种数据类型（文本、图像等）的低延迟搜索。它结合了向量搜索与结构化过滤的优势，通过GraphQL和REST API提供数据访问接口。此外，它支持多种机器学习模块，实现语义搜索、问答提取、分类等功能。Weaviate为数据管理提供了一种简便而强大的解决方案，特别适合需要低延迟、可扩展存储和搜索的应用场景。Weaviate 官方文档Weaviate GitHub 仓库Weaviate 社区支持。
福布斯 AI 50 榜单中唯一开源向量数据库：Weaviate
折腾技术
06-27 2091
本文相关的代码和配置，我开源在了，有需要自取，欢迎“一键三连”。言归正传，随着越来越多的传统数据库和搜索引擎对于向量数据检索能力的完善（MySQL、PostgreSQL、MongoDB、Elasticsearch、Redis、ClickHouse …），专用的向量数据库的能力要求被不断拔高，伴随着不时传来的“向量数据库已死”、“只是一个数据库功能”的观点，4 月 11 日福布斯全球网站发布的 2023 AI 50 榜单中只有两家做向量数据库的公司登陆了名单。
探索Weaviate：高效的开源向量数据库
tt_jishu的博客
11-08 1209
Weaviate是一种开源的向量搜索引擎数据库，它允许你以类似类属性的方式存储JSON文档，同时将机器学习的向量附加到这些文档上，以在向量空间中表示它们。Weaviate可以单独使用，也可以与各种模块结合使用，为你处理向量化，并扩展其核心能力。Weaviate以其强大的功能和易用性成为大规模向量搜索任务的理想选择。通过本文的介绍，希望你对Weaviate有了更深入的了解，并能在实际应用中充分利用其功能。
Weaviate 向量数据库在 Dify 中的详细中文解释，结合设备售后场景（管理设备说明书、维护记录、故障图片），深入剖析其功能、架构、核心代码、部署配置及优化策略
专注于前沿技术的探索与实践，热衷于从代码逻辑、架构设计到行业应用等多维度深挖技术本质。期待在技术之路上与你共同成长～
07-27 1633
以下是对 Weaviate 向量数据库在 Dify 中的详细解释，结合设备售后场景（管理设备说明书、维护记录、故障图片），深入剖析其功能、架构、核心代码、部署配置及优化策略。3. 核心代码讲解以下是 Weaviate 在 Dify 中核心功能的代码实现（基于 core/rag/ 目录，简化版）：3.1 数据摄取（存储文档和图片嵌入）python。1. Weaviate 概述Weaviate 是一个开源的向量数据库，专为存储和查询高维向量（如文本、图片嵌入）设计，支持语义检索、关键词检索和混合检索。
weaviate 与chromedb 向量查询性能比较
09-16
Weaviate和ChromaDB都是用于向量数据库的工具，在向量查询性能方面有不同的表现。 Weaviate是一个开源的向量搜索引擎，它支持多种向量索引类型，如HNSW（Hierarchical Navigable Small World），可以实现高效的近似最近邻搜索。Weaviate在大规模数据集上能够利用其分布式架构和优化的索引结构，快速定位与查询向量最相似的向量。例如，当处理包含数百万甚至数十亿向量的数据集时，Weaviate可以通过其并行计算能力和分布式存储，将查询任务分配到多个节点上进行处理，从而显著提高查询速度。此外，Weaviate还支持混合搜索，即可以同时根据向量相似度和其他属性进行查询，这在一些复杂的查询场景中非常有用。 ChromaDB是一个轻量级的向量数据库，它的设计目标是简单易用且高效。ChromaDB采用了一种简单而有效的索引策略，在小规模到中等规模的数据集上表现出色。对于包含数千到数十万向量的数据集，ChromaDB可以快速完成向量查询，并且其查询性能受数据集规模的影响相对较小。ChromaDB的优势在于其简洁的API和低资源消耗，对于一些对性能要求不是特别高，但希望快速搭建向量查询系统的场景，ChromaDB是一个不错的选择。 在实际应用中，如果需要处理大规模的数据集，并且对查询性能和系统的可扩展性有较高要求，Weaviate可能更适合。而如果是小规模到中等规模的数据集，并且追求简单易用和低资源消耗，ChromaDB可能是更好的选择。 ```python # 以下是使用Weaviate进行向量查询的简单示例 import weaviate client = weaviate.Client("http://localhost:8080") # 定义查询向量 query_vector = [0.1, 0.2, 0.3] # 构建查询 near_vector = {"vector": query_vector} response = ( client.query .get("YourClassName", ["property1", "property2"]) .with_near_vector(near_vector) .with_limit(10) .do() ) print(response) ``` ```python # 以下是使用ChromaDB进行向量查询的简单示例 import chromadb client = chromadb.Client() collection = client.create_collection(name="your_collection") # 添加向量数据 collection.add( embeddings=[[0.1, 0.2, 0.3], [0.4, 0.5, 0.6]], ids=["id1", "id2"] ) # 定义查询向量 query_vector = [0.1, 0.2, 0.3] # 进行向量查询 results = collection.query( query_embeddings=[query_vector], n_results=1 ) print(results) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

roman_日积跬步-终至千里

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值