如何实现 Embedding 相似度查询

Embedding 是 LLM 的重要组件,如果通过 LlamaIndex 进行 Embedding 查询,使用 Vector Index 就可以方便的实现。如果我们想自己实现 Embedding 的相似度计算呢?Embedding 的流程是调用 Embedding 模型,模型返回向量,查询向量,自己实现的好处是不需要依赖 LlamaIndex,可以自己实现Vector存储、Vector 查询。这里我们可以借鉴 LlamaIndex 的实现方式,LlamaIndex 多种 Index,SummaryIndex 默认是返回所有的节点,同时也支持 Embedding 和 LLM 进行搜索。本文根据 SummaryIndex 的实现方式,实现自己的 Embedding 的相似度查询。

创建 Embedding

Embedding 是通过模型生成向量,LlamaIndex中,所有 Model 都是继承自 BaseEmbedding,通过get_query_embedding 获取向量,Ollama Embedding 创建 Vector。

from llm import get_ollama_embbeding

embed_model = get_ollama_embbeding()
res = embed_model.get_query_embedding("北京")

LlamaIndex 调用 Ollama API 获取 Embedding,可以通过 Ollama 的 Python 库自行调用。
在这里插入图片描述
生成向量:
在这里插入图片描述

相似度

有了 Embeddi

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值