使用Lantern实现Postgres的向量相似性搜索

最新推荐文章于 2025-11-24 12:40:06 发布

原创最新推荐文章于 2025-11-24 12:40:06 发布 · 167 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

在现代信息检索和推荐系统中，向量相似性搜索是一项重要技术。今天，我们将使用Lantern，这是一个开源的向量相似性搜索工具，专为Postgres数据库设计。Lantern支持精确和近似最近邻搜索，支持L2平方距离、汉明距离和余弦距离。

技术背景介绍

Lantern利用Postgres数据库作为基础，提供了强大的向量相似性搜索功能。它能够进行大规模的向量检索，并适用于各种用例，如推荐系统、图像检索和文本搜索。结合OpenAI的文本嵌入模型，Lantern可以在文本相似性搜索方面展现出色的性能。

核心原理解析

Lantern采用了向量数据库的概念，通过将文档转化为向量，进行高效的相似性搜索。它支持多种距离测量方法，其中余弦距离是默认的选择。Lantern可以与OpenAI的嵌入函数集成，使得从文本到向量的转换更加简便和高效。

代码实现演示

下面我们展示如何使用Lantern和OpenAI嵌入功能进行文本相似性搜索。

# 安装必需的软件包
!pip install -qU langchain-community openai psycopg2-binary tiktoken

import getpass
from dotenv import load_dotenv
import os
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Lantern
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载环境变量
load_dotenv()

# 获取API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 加载文档并进行预处理
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 初始化OpenAI嵌入模型
embeddings = OpenAIEmbeddings()

# 获取数据库连接字符串
CONNECTION_STRING = getpass.getpass("DB Connection String:")

# 创建Lantern向量存储
COLLECTION_NAME = "state_of_the_union_test"
db = Lantern.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=COLLECTION_NAME,
    connection_string=CONNECTION_STRING,
    pre_delete_collection=True,
)

# 执行相似性搜索
query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

应用场景分析

Lantern的强大在于其能够在Postgres中高效处理大规模向量数据，这使其非常适合用于在线零售中的个性化推荐、内容搜索和企业数据分析等场景。通过与OpenAI嵌入结合，您可以轻松实现复杂的自然语言处理任务。

实践建议

连接稳定的数据库服务：在生产环境中，确保使用稳定可靠的数据库，避免数据丢失或性能瓶颈。
利用环境变量管理配置：敏感信息应通过环境变量或加密配置文件进行管理，保障安全性。
性能优化：对于大型数据集，建议进行索引优化和查询分析，以提升检索速度。

如果遇到问题欢迎在评论区交流。

—END—