基于ElasticSearch的向量检索技术实践

最新推荐文章于 2025-09-17 14:07:58 发布
原创 最新推荐文章于 2025-09-17 14:07:58 发布 · 1.5k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #大数据 #搜索引擎

基于ElasticSearch的向量检索技术实践

作者：Tableau

原文地址：https://zhuanlan.zhihu.com/p/620260383

图片、视频、语音、文本等非结构化数据可以通过人工智能技术（深度学习算法）提取特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析与检索。 针对向量检索常见的应用场景有：

  • 图片识别：以图搜图，通过图片检索图片;人脸识别

  • 自然语言处理：基于语义的文本检索。

  • 声纹匹配：音频检索。

  • 电商推荐：提取用户个性化特征或是商品的个性化属性，提高推荐模型的准确性，获得更加精确的推荐结果。

  • 知识图谱：智能搜索，智能问答，个性化推荐。

后续研究实践，以人脸为例，进行讨论介绍。

图片

向量检索面临的挑战主要在以下几个方面

  1. 高维数据：向量数据维度通常是 256/512 维。

  2. 海量数据：在电商场景图片搜索或者商品知识图谱等，

  3. 向量数据通常在千万到亿别级别。

  4. 高召回：为保证检索效果，精度召回率通常要求 95% 以上。

  5. 高性能：为保证用户体验，向量检索的响应要求毫秒级。

工程落地面临的挑战

  1. 系统高可用：需要实现一个分布式高可用系统

  2. 向量检索算法：需要根据不同场景，召回率和性能要求使用不同算法，并进行性能优化

  3. 通用的向量检索：适用于各种场景

  4. 与传统搜索结合：在向量检索的同时，需要其他一些业务字段的查询，过滤，和排序

向量检索简介

向量检索与机器学习分类问题

图片

在人脸识别的过程中，输入的人脸图片会转化为人脸特征值向量保存在计算机中作为人脸库，假设右图方块表示小王的多个人脸图片的特征值向量，三角表示小李的多个人脸特征值向量绿色向量表示输入的一张未知人脸图片的特征值向量。使用两向量的距离评估两向量表示的人脸的相似度在右图中与绿色新向量距离最近的为一方块向量，因此认为新输入的图片最有可能是小王的人脸图片。与人脸识别问题类似的其他的机器学习分类问题中，向量检索也是应用流程中的重要环节。

向量距离

KNN 检索最重要的子问题是如何评估任两个向量间的距离，机器学习聚类算法中最常用的距离是欧式距离和余弦距离。对某二维平面上两点

图片

**欧式距离：两向量终点连线的长度

图片

**余弦距离：两向量夹角的余弦值

最低0.47元/天 解锁文章
elastic Search 初步之向量检索的数据写入及检索查询
NLP与推荐算法
09-25 1030
Elasticsearch 从 7.3 版本开始引入了向量检索功能，支持通过向量字段进行相似度搜索。以下是实现向量检索的步骤和方案，包括 Python 和 Java 版本的代码示例。首先，需要在 Elasticsearch 中创建一个索引，并定义一个向量字段。向量字段可以是 `dense_vector` 类型。使用 `script_score` 查询来进行向量检索。#### 1. 最低实现向量检索的 ES 版本。#### 2. 创建索引并定义向量字段。插入包含向量字段的数据。#### 4. 向量检索。
ElasticSearch向量检索技术方案介绍
liupenglove的专栏
11-09 3627
在人工智能快速发展的今天，推荐技术、以文搜图、以文搜视频、以图搜图等技术已经得到了广泛的应用，在百度、小红书、抖音、快手等app上随便输入一段文本，搜索结果已不像早些年那么单一：只有一些文字信息，现在的搜索结果里不仅有文字，还能够搜索出与检索词高度相关的图片、视频、或者商品(电商app)，甚至都不用检索，feed流推荐的内容或者商品都是自身感兴趣的，大家一定会有疑问，整个系统背后是如何实现的呢，为什么输入一段文字，就能检索到相关的视频、音频或者图像呢？不同的内容形式，中间是怎么实现的匹配呢？
ES 如何实现向量搜索【以图搜图/语义搜索】
Abandon_first的博客
12-01 5263
ES 实现向量搜索的设置示例。
Elasticsearch（二）向量检索实践
最新发布
onlymscn的博客
09-17 1245
Elasticsearch 8.x+支持向量检索功能，通过knn_vector字段存储高维向量（如128-768维），结合HNSW等算法实现KNN相似度查询。文章详细介绍了向量索引设计、数据写入方法、混合检索（结合结构化/全文查询）及性能优化建议，并提供了Python示例代码。同时阐述了向量生成技术（如BERT、CLIP模型）和与大模型集成的RAG应用场景，最后给出OpenAI+Milvus的实战案例，展示如何将向量检索应用于智能问答系统。
【Elasticsearch】一文读懂ES向量搜索：原理剖析与技术全景
大白的成长之路
03-02 2630
向量搜索，简单来说，就是在向量空间中进行的搜索操作。在传统的文本搜索中，我们通常基于关键词进行匹配，这种方式对于精确匹配的场景效果较好，但在处理语义理解、模糊匹配等复杂场景时显得力不从心。而向量搜索则将文本、图像、音频等各种数据转化为向量表示，通过计算向量之间的相似度来进行搜索。这种方式能够更好地捕捉数据的语义信息，从而实现更精准、更智能的搜索。
Elasticsearch：介绍 kNN query，这是进行 kNN 搜索的专家方法
Elastic 中国社区官方博客
01-22 3389
介绍 kNN query，这是进行 kNN 搜索的专家方法。详细介绍 kNN search 及 kNN query 的区别。
ES 8的向量检索性能调优实践
大数据，大模型，服务器，技术、架构，方案
06-03 1994
针对Elasticsearch的向量检索性能调优需要综合考虑并发处理、存储选择、分片策略以及I/O调度器等多个方面。通过合理的配置和优化，可以显著提升ES的查询效率和响应速度，从而满足实际应用中的高性能需求。我们观察到在HDD环境下，将搜索并发提高至40后，QPS相较于默认设置提升了23倍。尤为显著的是，通过段合并策略，性能提升幅度从原本的20%扩大至惊人的380%，这充分展现了段合并技术的巨大优势。
基于Elasticsearch8的向量检索实现相似图形搜索
老王的博客
01-07 1450
elasticsearch向量检索
基于elasticsearch实现大规模向量检索
jasstion的专栏
10-10 5829
什么是向量搜索？ 向量检索是基于向量之间的距离对已有documents进行相关性排序，和输入document向量距离越小则认为在某个维度上越相似会优先排在前面。 document可以是世界万物，比如图片，一段音视频，一段文字，一张人脸等，对于任何种document， 你都可以根据自己的需求对其进行模型训练，基于训练好的模型抽取特征进完成documents相似性检索。 已有向量搜索方案的对比以及优势 向量检索技术已经出现很久了，相关的技术方案也挺多的，比如： faiss Milvus 还有很多其他的， 就
向量检索（一）Faiss 在工业界的应用和常见问题解决
热门推荐
千里之行
11-07 1万+
传统的搜索，使用关键做精确的查找，利用倒排索引在索引库中搜索。日常在用的百度，Google都属于关键词搜索。 在 AI 时代我们需要查找一张相似的图片，一个问题的答案，或者根据一段音乐查找对应的歌曲，这些情况下没有准确的关键词用来做检索。 这些图片，问题（文本），语音，不再是简单的一个一维量化的数字，而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。 对于文本，图片，语音，视频，DNA信息等等，都可用向量来表示，数据被特征化处理后用来表示这条数据的向量称之为 Embedding
以图搜图实现二之Elasticsearch Aknn插件生成
weixin_42435657的博客
08-01 1800
1. 搭建maven 项目，项目pom.xml 文件为： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://...
elk安装及使用二（elasticsearch的简单使用及插件的安装）
dayi_123的博客
10-05 3279
elasticsearch的简单使用及插件的安装 一、elasticsearch的使用 Elasticsearch的操作语法为： curl -X 'PROTOCOL://HOST:PORT/?QUERY_STRING' -d '' 1、elasticsearch的基本操作 （1）Elasticsearch状态信息查看 Elasticsearch查看状态信息的查询语法有很多，常用的查
Faiss IVFPQ实现
优快云_WHB的博客
02-28 1138
Faiss IVFPQ实现流程介绍
在 Dify 开发平台中向量数据库的选择
形上得其象，形下合于数；阴阳自济，玄理自明。
04-01 3760
本实例详细描述了如何在 Dify 开发平台上以 Milvus 为例完成向量数据库的部署、集成和测试操作。环境准备：安装 Docker、Kubernetes 和 Python 依赖；数据库部署：通过 Docker 或 Kubernetes 部署 Milvus；配置集成：在 Dify 平台中添加数据库连接参数，并实现 API 封装；数据操作：通过 Python 脚本实现数据写入、索引构建及查询，并进行功能测试；性能验证：利用负载测试工具进行压力测试，监控各项指标；故障演练。
腾讯云ES向量功能窥探系列（一）：混合搜索功能初探与自研特性增强
cloudbigdata的博客
08-02 329
导语｜Elasticsearch 8.x 引入了强大的向量搜索功能，使得在大规模数据集上进行高效的 k 近邻（kNN）搜索成为可能。向量搜索在许多应用场景中都非常重要，例如 RAG、推荐系统、图像搜索等等。本文旨在深入浅出地剖析 Elasticsearch 8.x 的 kNN 搜索和混合搜索功能，介绍其实现原理和关键技术点。同时，我们还将解读腾讯云 ES 对社区做出的相关贡献，通过源码级别的解读，...
Spring Boot和Elasticsearch进行人脸数据的高效检索
wjianwei666的专栏
06-05 1106
分布式架构：集群中的每个节点可以存储数据并参与查询。高性能：通过索引技术，实现快速的数据查询和分析。RESTful API：提供了简单的HTTP接口，易于与其他系统集成。实时性：支持实时的数据存储和检索，适合需要快速响应的应用场景。在人脸识别系统中，我们可以将人脸特征数据存储在Elasticsearch中，通过其强大的搜索功能，实现快速的人脸数据匹配检索。
ElasticSearch学习笔记-Vector向量搜索记录
PURSUE ONE PIECE
09-10 9229
在Elasticsearch 7.0中，ES引入了高维向量的字段类型： dense_vector存储稠密向量，value是单一的float数值，可以是0、负数或正数，dense_vector数组的最大长度不能超过1024，每个文档的数组长度可以不同。 sparse_vector存储稀疏向量，value是单一的float数值，可以是0、负数或正数，sparse_vector存储的是个非嵌套类型的...
Faiss(10)：IVFPQ-search过程分析
翔底的博客
09-27 2414
1. 说明 前面从创建索引、训练、添加向量等过程分析过来，终于要到搜索部分了，对于整个faiss框架来说，前面的操作虽然费时但都是一次完成的，实际上经常需要使用的只有search一项内容，所以这也是整个研究重点。 2. 过程分析 2.1 python core D, I = gpu_index.search(xq_t[x],top_k) 上面是调用一次搜索的过程。gpu_index是索引的实例，search是实现在该索引内的方法，xq_t[x]是一个64维向量，即要搜索的原数据。比如top_k = 100
elasticsearch 向量检索
01-17
### Elasticsearch 中实现向量检索的方法和配置 #### 启用 KNN 插件支持向量检索功能 为了在Elasticsearch中启用向量检索，需安装并启动KNN插件。此操作可以通过下载对应版本的插件包来完成，并按照官方文档中的说明进行设置。 ```bash bin/elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/knn-vector/knn-vector-8.15.0.zip ``` 上述命令适用于特定版本（如8.15.0），确保所使用的Elasticsearch版本与此相匹配[^1]。 #### 创建索引映射定义向量字段 创建一个新的索引来存储具有向量特性的文档时，需要特别指定用于保存这些高维特征的数据结构。下面是一个JSON片段的例子： ```json PUT /my-index { "mappings": { "properties": { "vector_field": { "type": "knn_vector", "dimension": 128 } } } } ``` 这里`vector_field`代表要存入的向量名称；而`dimension`则指定了该向量的空间维度大小，这取决于实际应用场景下的需求。 #### 执行基于相似度的查询请求 当准备就绪之后，就可以利用内置函数来进行近似最近邻搜索了。例如，在给定目标向量的情况下查找最接近它的其他记录： ```json POST /my-index/_search?size=5 { "_source": ["title"], "query": { "knn": { "vector_field": { "vector": [-0.794643, ... , -0.21621], // 输入待比较的目标向量值列表 "k": 5 // 返回前几名的结果数量 } } } } ``` 这段代码展示了如何通过HTTP POST方法提交一次带有参数化的KNN查询到指定路径下，从而获取与输入样本最为相近的一组条目信息。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值