Databricks Vector Search 和 LangChain 的实战应用

最新推荐文章于 2025-03-26 08:50:27 发布

原创最新推荐文章于 2025-03-26 08:50:27 发布 · 436 阅读

CC 4.0 BY-SA版权

文章标签：

在今天的分享中，我们将深入探讨如何使用 Databricks Vector Search 结合 LangChain 来进行矢量搜索。在数据科学领域，矢量搜索是一种非常强大的技术，能够快速从海量数据中找到相似的向量。Databricks 提供了一个无服务器的相似性搜索引擎，可以将数据的向量表示及其元数据存储在矢量数据库中，支持使用简洁的 API 创建和查询矢量索引。

技术背景介绍

Databricks Vector Search 允许你从 Delta 表创建自动更新的矢量搜索索引，并能通过简单的 API 查询返回最相似的向量。这对于需要快速检索和匹配复杂数据的应用程序来说，可以说是个神器。

原理深度解析

Databricks Vector Search 的核心是其矢量数据库，您可以将数据转化为矢量，增设元数据，并通过向量查询实现相似性搜索。结合 LangChain 的 OpenAIEmbeddings，我们能够将文本数据转化为可操作的矢量。

实战代码演示

下面是一段代码演示，展示如何在 Databricks 中使用 LangChain 和 OpenAI 的工具。

# 安装必要的 Python 包
%pip install --upgrade --quiet langchain-core databricks-vectorsearch langchain-openai tiktoken

# 使用 OpenAI 进行嵌入
import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 加载和分割文档
from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
emb_dim = len(embeddings.embed_query("hello"))

在这波操作中，我们用到了 LangChain 的 TextLoader 和 CharacterTextSplitter 来处理文本数据，为后续的矢量化打下基础。老铁们，LangChain 的嵌入功能非常强大，这里使用 OpenAIEmbeddings 进行矢量化。

接下来，我们设置 Databricks Vector Search 的客户端，并创建一个矢量搜索端点和直接矢量访问索引。

# 设置 Databricks Vector Search 客户端
from databricks.vector_search.client import VectorSearchClient

vsc = VectorSearchClient()

# 创建矢量搜索端点
vsc.create_endpoint(name="vector_search_demo_endpoint", endpoint_type="STANDARD")

# 创建直接矢量访问索引
vector_search_endpoint_name = "vector_search_demo_endpoint"
index_name = "ml.llm.demo_index"

index = vsc.create_direct_access_index(
    endpoint_name=vector_search_endpoint_name,
    index_name=index_name,
    primary_key="id",
    embedding_dimension=emb_dim,
    embedding_vector_column="text_vector",
    schema={
        "id": "string",
        "text": "string",
        "text_vector": "array<float>",
        "source": "string",
    },
)

index.describe()