Embedding 是 LLM 的重要组件,如果通过 LlamaIndex 进行 Embedding 查询,使用 Vector Index 就可以方便的实现。如果我们想自己实现 Embedding 的相似度计算呢?Embedding 的流程是调用 Embedding 模型,模型返回向量,查询向量,自己实现的好处是不需要依赖 LlamaIndex,可以自己实现Vector存储、Vector 查询。这里我们可以借鉴 LlamaIndex 的实现方式,LlamaIndex 多种 Index,SummaryIndex 默认是返回所有的节点,同时也支持 Embedding 和 LLM 进行搜索。本文根据 SummaryIndex 的实现方式,实现自己的 Embedding 的相似度查询。
创建 Embedding
Embedding 是通过模型生成向量,LlamaIndex中,所有 Model 都是继承自 BaseEmbedding,通过get_query_embedding 获取向量,Ollama Embedding 创建 Vector。
from llm import get_ollama_embbeding
embed_model = get_ollama_embbeding()
res = embed_model.get_query_embedding("北京")
LlamaIndex 调用 Ollama API 获取 Embedding,可以通过 Ollama 的 Python 库自行调用。

生成向量:

相似度
有了 Embeddi

最低0.47元/天 解锁文章
2924

被折叠的 条评论
为什么被折叠?



